1. 개요

• 원본 코드에서 원하는 token_size는 너무 길어서 현재 컴퓨팅 파워로는 결과를 보기 어려움.
• 적절한 token_size를 선택할 필요가 있음.
• 원본 코드의 token_size는 activation.py 실행에 약 7시간 소요.
• 따라서 token_size를 24K와 2.4M로 조절하여 PPL값을 분석한다.
• Activation 값은 0으로 고정한다.

2. Tokenizer.py

• Train token은 0번부터 원하는 size까지 조절하여 저장한다.
• valid token은 train token size까지는 버리고 그 뒤부터 저장한다.

import os
import torch
from datasets import load_dataset
from transformers import AutoTokenizer
from tqdm import tqdm

def process_language(lang, config_name):
    """
    주어진 언어에 대해 위키백과 데이터셋을 로드, 토크나이즈하고,
    토큰 리스트를 LongTensor로 변환한 뒤 별도의 파일로 저장합니다.
    """
    print(f"\n[{lang}] 데이터 처리 시작 (config: {config_name})")

    # 데이터셋 로드
    dataset = load_dataset("wikimedia/wikipedia", config_name, cache_dir= "/mnt/data6/huggingface_cache")

    # LLaMA와 호환되는 토크나이저 초기화 (필요에 따라 다른 모델로 변경 가능)
    tokenizer = AutoTokenizer.from_pretrained("huggyllama/llama-7b", use_fast=True)

    token_ids = []
    token_len = 0
    # 데이터셋의 "train" split에 대해 토크나이즈 진행
    for example in tqdm(dataset["train"], desc=f"{lang} 토크나이즈 진행중"):
        text = example["text"]
        tokens = tokenizer.encode(text, add_special_tokens=False)
        token_len += len(tokens)
        if token_len <= 2400000: # valid token size 조절
            continue
        token_ids.extend(tokens)
        if len(token_ids) >= 2400000: # train token size 조절
            break

    # 리스트를 LongTensor로 변환
    tokens_tensor = torch.tensor(token_ids, dtype=torch.long)

    # 출력 디렉토리 생성
    os.makedirs("data", exist_ok=True)
    # 언어별 파일명: data/{lang}.train.llama
    output_file = f"data/token_size_2.4M/valid/id.{lang}.valid.llama"
    torch.save(tokens_tensor, output_file)
    print(len(token_ids))
    print(f"[{lang}] 토크나이즈된 데이터가 {output_file} 에 저장되었습니다.")

def main():
    # 언어별 구성: key는 언어 코드, value는 해당 구성 이름 (예: 최신 날짜 구성)
    languages = {
        "en": "20231101.en",
        "zh": "20231101.zh",
        "fr": "20231101.fr",
        "es": "20231101.es",
        "vi": "20231101.vi",
        "id": "20231101.id",
        "ja": "20231101.ja"
    }

    for lang, config_name in languages.items():
        process_language(lang, config_name)

if __name__ == "__main__":
    main()

2. Token_size: 24K

• Token_size를 24K로 조절하여 PPL값을 분석한다.

• 아래의 표는 activation_mask를 씌운 PPL값에서 activation_mask를 하지 않은 PPL값을 뺸 값이다.

  • $$ P = P_a - P_0 $$

    • $P_a$ : 언어별 mask 씌운뒤 PPL 값

    • $P_0$: mask를 씌우지 않은 PPL 값

3. Token_size: 2.4M

• Token_size를 2.4M로 조절하여 PPL값을 분석한다.

• 아래의 표는 activation_mask를 씌운 PPL값에서 activation_mask를 하지 않은 PPL값을 뺸 값이다.

  • $$ P = P_a - P_0 $$

    • $P_a$ : 언어별 mask 씌운뒤 PPL 값

    • $P_0$: mask를 씌우지 않은 PPL 값

4. 분석

1. Token size 조절 전후 PPL 값은 변화가 있지만, 논문과 비교했을 때 값의 차이가 있음
   1. Token_size가 24K일 때 논문 PPL값과 약 8배 차이
   2. Token_size가 2.4M일 때 논문 PPL 값과 약 4배 차이
2. 하지만 target 언어에 대해서 mask를 한 PPL값과 하지 않은 PPL 값이 차이가 뚜렷한 것으로 보아 언어별 뉴런을 잘 찾아낸다고 보인다.