Kısım III · Merak · Bölüm 56

MLP Dil Modeli ve Gömme

Tek harf yetmez: bağlam ve harflerin "anlam uzayı" (MLP language model and embeddings)

1. Kat 10Uygulama: yapay zekâ (Kısım III)Bir dil modeli de bir programdır; bizim uygulamamızla aynı katta, "uygulama" olarak yaşar. Bu bölümde en küçük ama gerçek bir tanesini büyütüyoruz.
2. Kat 5Programlama dilleriModelin kodu Python ile, PyTorch kitaplığıyla yazılıdır (Bölüm 52.5).
3. Kat 3İşlemci ve bellek; GPUModelin her parametresi bellekte durur, her adım matris çarpımıdır; ağır işi GPU üstlenir (Bölüm 6.5, 55.4).
4. Kat 0Elektrik ve bitHarf, sayıya; sayı, bitlere dönüşür (Bölüm 2). Gömme, bu zincire "öğrenilmiş" bir halka ekler.

Bölümün sonunda şunları bileceksin: bir dil modelinin "bağlamı" ne demektir ve neden bağlamı büyütmek sayım tablosunu patlatır; gömme nedir, neden tek-sıcak vektörden iyidir ve model onu nasıl kendi başına öğrenir; Bengio ve arkadaşlarının 2003 tarihli makalesi bu bölümdeki ağı nasıl tarif etti ve bugünkü dev modellere hangi mirası bıraktı; eğitim, doğrulama ve test kümeleri neden ayrılır; hiperparametre ile parametre arasındaki fark nedir.

Önce Kısım III'ün yol haritasında nerede olduğumuza bakalım:

Bölüm 53  bigram, sayarak            ┐
Bölüm 55  bigram, sinir ağıyla      ┘ bağlam = 1 harf
Bölüm 56  MLP + gömme (bu bölüm)      bağlam = 3 harf, harfler vektör
Bölüm 57  dikkat ve Transformer       bağlam = istenen uzunluk, "kime bakacağını" model seçer
Bölüm 58  büyük dil modelleri         aynı fikir, devasa ölçek
Bölüm 59  agent'lar ve tam harita

56.1 Bağlam penceresi: son 3 harf

Bir dil modelinin işi, şimdiye kadar gördüklerine bakıp bir sonrakini tahmin etmektir (Bölüm 53.1). "Şimdiye kadar gördükleri"ne bağlam (context) deriz. Bigram modelinin bağlamı tek harftir: . (isim başı) görürse "bir isim başlıyor"u bilir, n görürse "bir n bitti"yi bilir, ama o n'nin "ann"in sonu mu, "ninni"nin başı mı olduğunu bilmez. Modelin bir adım geriye bakıp "az önce ne gördüm?" diyebilmesi için bağlamı büyütmemiz gerekir.

Kayan pencere

Modelin her tahminde baktığı son k harfe bağlam penceresi (context window) diyoruz; k sayısına da bağlam uzunluğu (context length). Karpathy'nin kodunda bu sayının adı block_size'dır ve 3 seçilmiştir: "sonraki harfi tahmin etmek için kaç harfe bakıyoruz?"² Pencere "kayar": her tahminden sonra en eski harf düşer, yeni harf eklenir. Yaşayan bir kod parçası:

block_size = 3                       # bağlam uzunluğu: kaç harfe bakacağız
X, Y = [], []                        # X: bağlamlar, Y: o bağlamdan sonra gelen gerçek harf
for w in words:                      # her isim için
  context = [0] * block_size         # başlangıçta bağlam [0,0,0]: üç tane "isim başı" işareti
  for ch in w + '.':                 # ismin harfleri, sonuna da bitiş işareti
    ix = stoi[ch]                    # harfi sayıya çevir (0 = '.', 1 = a, ... 26 = z)
    X.append(context)                # "bu bağlam..."
    Y.append(ix)                     # "...bu harfle devam etti"
    context = context[1:] + [ix]     # pencereyi kaydır: en eskiyi at, yenisini ekle

(Bu, Karpathy'nin makemore_part2_mlp not defterindeki döngüdür.² words isim listesi, stoi harften sayıya sözlüktür; Bölüm 53.2 ve 55.1'den tanıdıksın.) "emma" için ürettiği örnekler şunlar; kodu çalıştırarak doğruladık, . isim başı/sonu işaretidir:

Bir isim, harf sayısı kadar artı bitiş işareti için bir tane, yani harf sayısı + 1 örnek üretir ("emma" 4 harf, 5 örnek). Karpathy'nin 32.033 isimlik veri kümesinin tamamı 228.146 örnek eder (kendimiz saydık).⁶ Modelin girdisi X, her satırı 3 sayıdan oluşan bir tablodur; hedefi Y, her satır için tek bir sayıdır. İlk beş ismin (emma, olivia, ava, isabella, sophia) toplam örnek sayısı 32'dir.

Sayım tablosuyla neden olmaz: üstel büyüme

Bölüm 53'te bigram'ı sayarak kurduk: 27 satır (önceki harf) × 27 sütun (sonraki harf) = 729 hücrelik tablo. Aynı yöntemi 3 harflik bağlamla denemek mümkündür: satırlar artık "üç harflik diziler" olur. Ama tablonun boyutu şöyle büyür:

Son sütunu kendimiz, 228.146 örneğin tamamını tarayarak saydık.⁶ Üç gözlem: (1) Hücre sayısı her harf eklenince 27 katına çıkar; 3 harfte bile 531 bin hücre var, oysa elimizdeki örnek sayısı 228 bin. Tablonun hücreleri verinin kendisinden fazladır. (2) Mümkün bağlamların çoğu hiç görülmez (19.683'ün 5.686'sı). (3) Görülen bağlamların bile kayda değer bir kısmı çok az görülür: 3 harflik bağlamlardan 1.132'si veride yalnızca bir kez geçer; 4 harflikte bu sayı 8.583'tür. Bir kez görülmüş bir bağlama bakarak "sonra ne gelir"i güvenle söyleyemezsin: o bir seferin tesadüfünü ezberlemişsindir.

Bengio ve arkadaşlarının 2003 makalesi bu sorunu boyutluluk laneti (curse of dimensionality) diye adlandırır ve aynı hesabı kelimelerle yapar: 100.000 kelimelik bir sözlükte art arda 10 kelimenin ortak olasılığını modellemek istersen, serbest parametre sayısı 100.000¹⁰ − 1 = 10⁵⁰ − 1 olur.¹ Hiçbir veri kümesi bunu doldurmaz.

56.2 Gömme: her harfe bir vektör

Şimdi asıl fikre geliyoruz. Bigram sinir ağını Bölüm 55'te şöyle kurmuştuk: harfi bir sayıya (0–26) çevir; sayıyı tek-sıcak vektör yap (27 elemanlı, yalnızca bir yeri 1, gerisi 0); bu vektörü bir ağırlık matrisiyle çarp; sonucu logit olarak oku; softmax ile olasılığa çevir. Üç harfe bakacağımız modelde aynı yolu izlersek girdi 3 × 27 = 81 elemanlı bir tek-sıcak yığını olurdu. Bu çalışırdı. Ama daha zarif ve çok daha ölçeklenebilir bir yol var.

Vektör: sayı listesi

Vektör (vector), burada, sıralı bir sayı listesi demektir: [0,7; −1,2; 0,3] üç elemanlı bir vektördür. Vektöre uzayda bir nokta ya da bir yön olarak da bakabilirsin: iki elemanlı bir vektör bir haritadaki (x, y) koordinatıdır; üç elemanlı olan odadaki bir noktadır. Eleman sayısına vektörün boyutu (dimension) denir. Bölüm 55'teki tek-sıcak vektör 27 boyutluydu; biz şimdi her harf için, örneğin, 10 boyutlu bir vektör kullanacağız.

Gömme matrisi: bir arama tablosu

Fikir şu: her harfe, 27 elemanlı seyrek bir tek-sıcak vektör yerine, 10 elemanlı yoğun bir sayı listesi verelim. Bu listeleri 27 satırlı bir tabloda toplayalım: satır i, i. harfin listesi. Bu tabloya gömme matrisi (embedding matrix) diyoruz, Karpathy'nin kodunda adı C'dir; her harfin satırına da o harfin gömmesi (embedding) denir. Kodda:

C = torch.randn((27, 10))   # 27 harf × 10 boyut: başlangıçta rastgele sayılar
emb = C[X]                  # X'teki her harf sayısı için C'nin o satırını getir
emb.shape                   # X (32, 3) idi  →  emb (32, 3, 10)

C[X], bir arama tablosu (lookup table) işlemidir: X'in içindeki her tamsayı, C'de bir satır numarası olarak kullanılır. 32 örneğin her biri 3 harf, her harf 10 sayı → şekil (32, 3, 10). Bu şekilleri not defterinin kodunu çalıştırarak doğruladık.²⁶

Tek-sıcak ile aynı şey mi? Evet, daha ucuzu

Bölüm 55.3'te şunu gördün: tek-sıcak bir vektörü bir matrisle çarpmak, matrisin bir satırını seçmektir. Küçük bir örnek (Python'la çalıştırarak doğruladık): matris W = [[1, 2], [3, 4], [5, 6]] ve tek-sıcak vektör [0, 1, 0] olsun. Çarpım [3, 4] verir; bu, W'nin 2. satırıdır. Demek ki "tek-sıcak yap, sonra matrisle çarp" ile "doğrudan satırı getir" aynı sonucu verir; ikincisi 0'larla çarpıp toplama zahmetine girmez. Gömme, tek-sıcak kodlamanın üstüne bir ek değil: aynı işlemin, ilk katmanın ağırlık matrisinin satırlarının harflerin kimliği olarak okunduğu hali. Fark, yalnızca bakış açısındadır ve sonucu büyüktür: bu satırlar artık harfin "özelliği" olarak düşünülebilir.

Gömmeyi kim öğreniyor? Model, kendisi

C'nin 270 sayısını (27 × 10) biz seçmiyoruz. Başta rastgeledir ve modelin parametreleridir: ağırlıklar ve sapmalarla birlikte. Eğitim döngüsü (Bölüm 52.3) kaybı hesaplar, geri yayılım (Bölüm 50) gradyanları C'nin satırlarına kadar taşır (çünkü C[X], hesap grafiğinin bir düğümüdür, türevi alınabilir) ve her adımda C'nin, kullanılan satırları biraz kaydırılır. Yani model şunu öğrenir: "öyle bir sayı listesi bul ki, bu listelerle sonraki harfi iyi tahmin edeyim." Hangi harfin hangi listeye sahip olacağına eğitim karar verir.

Bu fikrin mantığı şu: iki harf benzer bağlamlarda benzer sonuçlara yol açıyorsa (örneğin iki ünlü benzer yerlerde durur), model onlara birbirine yakın listeler vermekten kazançlıdır; çünkü böyle yaparsa birinin gördüğü örnekten çıkardığı bilgi öbürüne de yarar. Karpathy'nin not defterinde, eğitimden sonra C'nin ilk iki boyutunu iki eksenli bir grafiğe çizen bir hücre bulunur; harflerin noktalarını kendi gözünle görmek için o hücreyi çalıştırabilirsin.² Sezgi olarak beklenen, benzer davranan harflerin birbirine yakın düşmesidir; ama bu bir eğilimdir ve ne kadar belirgin olduğu modele ve eğitime bağlıdır. Neyin kümelendiğini bu kitapta iddia etmeyeceğiz: bak ve kendin gör.

Elimizdeki ağ: şekilleriyle

Şimdi gömmeyi kullanan tam modeli, notebook'taki halini adım adım izleyerek yazalım. Önce 3 harfin gömmelerini yan yana birleştiriyoruz: (32, 3, 10) şekilli tensör, (32, 30) şekline "yassıltılıyor" (3 harf × 10 boyut = 30 sayı). Sonrası, Bölüm 51'den tanıdık bir MLP: gizli katman (tanh), çıkış katmanı (logit), softmax ve kayıp.

g  = torch.Generator().manual_seed(2147483647)  # tekrarlanabilir rastgelelik
C  = torch.randn((27, 10),  generator=g)        # gömme matrisi
W1 = torch.randn((30, 200), generator=g)        # girdi (30) → gizli katman (200 nöron)
b1 = torch.randn(200,       generator=g)        # gizli katmanın sapmaları
W2 = torch.randn((200, 27), generator=g)        # gizli katman → 27 logit (her harf için bir skor)
b2 = torch.randn(27,        generator=g)        # çıkışın sapmaları
parameters = [C, W1, b1, W2, b2]

emb    = C[Xtr[ix]]                              # (32, 3, 10): gömmeleri getir
h      = torch.tanh(emb.view(-1, 30) @ W1 + b1)  # (32, 200): yan yana diz, matrisle çarp, tanh
logits = h @ W2 + b2                             # (32, 27): her örnek için 27 skor
loss   = F.cross_entropy(logits, Ytr[ix])        # softmax + negatif log olabilirlik, ortalaması

Satır satır: emb.view(-1, 30) tensörü aynı sayıları koruyarak 30 sütunlu bir tabloya çevirir (-1, "satır sayısını sen hesapla" demektir). @ matris çarpımıdır (Bölüm 55.3); h her örnek için 200 nöronun çıktısıdır. F.cross_entropy, Bölüm 55'te elle yazdığın üç adımı (softmax ile olasılık, doğru harfin olasılığının negatif logu, ortalama) tek çağrıda yapar; not defterinde elle yazılmış hali de duruyor.² Parametre sayısı:

11.897; not defterinin kayıtlı çıktısıyla ve bizim çalıştırmamızla aynı.² Bölüm 55'teki bigram ağı 27 × 27 = 729 ağırlıktı; yeni model onun yaklaşık 16 katı. Ama şu kıyaslamaya dikkat et: aynı bağlamı sayım tablosuyla tutmak 531.441 hücre ister; MLP 11.897 parametreyle aynı bağlamı işliyor. Bağlamı 3'ten 6 harfe çıkarırsak tablo 27⁶ × 27 ≈ 10,5 milyar hücreye çıkar; MLP'de yalnızca W1 değişir (30 × 200'den 60 × 200'e, yani 6.000 parametre daha, toplam 17.897). Üstel ile doğrusal arasındaki fark budur; 56.4'te iki yöntemi birlikte tabloya koyacağız.

56.3 Bengio vd. (2003) modeli

Az önce kurduğumuz mimari bir Karpathy icadı değil: Yoshua Bengio, Réjean Ducharme, Pascal Vincent ve Christian Jauvin'in 2003'te Journal of Machine Learning Research'te yayımladıkları "A Neural Probabilistic Language Model" makalesinin küçük bir kopyası. Karpathy'nin makemore deposu, MLP modelini açıkça "Bengio et al. 2003'ü izleyen" model diye tanıtır.³ Aşağıda ikisini yan yana koyup yapının gerçekten aynı olduğunu göreceğiz.¹² Makale ilginçtir, çünkü bugünkü büyük dil modellerinin üç temel fikrini 2003'te yazar: sonraki kelimeyi tahmin etmek, kelimeleri öğrenilen vektörlerle temsil etmek, bunları ağın içinde birlikte eğitmek.

Sorun: n-gram'lar ve boyutluluk laneti

Makalenin çıkış noktası, o dönemin standart dil modeli olan n-gram (n-gram)'dı. N-gram modeli, bizim sayım tablomuzun kelimelerle çalışan haliydir: son n−1 kelimeye bakıp, eğitim metninde o kelime dizisinden sonra hangi kelimenin kaç kez geldiğini sayar. Makale iki zayıflığa işaret eder: birincisi, 1–2 kelimeden uzak bağlama bakamaz (veri yetmez); ikincisi, kelimeler arasındaki benzerliği bilmez.¹ Makalenin örneği: eğitim verisinde "The cat is walking in the bedroom" (kedi yatak odasında yürüyor) cümlesini görmüş bir model, "A dog was running in a room" (bir köpek odada koşuyordu) cümlesini neredeyse aynı derecede olası bulmalıdır, çünkü köpek/kedi, oda/yatak odası, koşmak/yürümek benzer işlevlerde kullanılan kelimelerdir. N-gram bu cümleyi hiç görmemişse, yalnızca gördüğü kısa parçaları "yapıştırarak" sonuca varır; kedi ile köpek arasında bir köprü yoktur.

Fikir: dağıtık temsil

Makalenin önerisi üç adımdır; kendi sözleriyle özetliyorum:¹

1. Sözlükteki her kelimeye, gerçek sayılardan oluşan bir özellik vektörü ver (dağıtık temsil (distributed representation): anlam tek bir yere değil, vektörün tüm elemanlarına dağıtılmış).
2. Kelime dizilerinin ortak olasılığını, bu dizideki kelimelerin vektörleri cinsinden ifade et.
3. Hem vektörleri hem de olasılık fonksiyonunun parametrelerini aynı anda öğren.

Neden işe yarar? Çünkü benzer kelimelerin benzer vektörleri olması beklenir ve olasılık fonksiyonu vektörlerin düzgün bir fonksiyonudur: vektörlerde küçük bir değişim, olasılıkta küçük bir değişim yaratır. Dolayısıyla eğitim verisinde yalnızca bir cümleyi görmek, o cümlenin "komşularının" (köpek yerine kedi, oda yerine yatak odası vb.) da olasılığını yükseltir.¹ Makalenin deneylerinde özellik vektörü boyutu m 30, 60 veya 100'dür; sözlük ise yaklaşık 17.000 kelimedir.

Mimari: bizim ağın ta kendisi

Makalenin 1. denklemi ağın çıkışını şöyle yazar: y = b + Wx + U·tanh(d + Hx). Buradaki x, bağlamdaki kelimelerin özellik vektörlerinin uç uca eklenmiş halidir; y, sözlükteki her kelime için ham skordur (yani logit), ve olasılık, bu skorların softmax'ıyla bulunur.¹ Haritayı çıkaralım:

Makalenin bir fazlası vardır: isteğe bağlı W matrisi, gömme vektörlerini gizli katmanı atlayarak doğrudan çıkışa bağlayabilir ("direct connections"). Bizim kodda yok. Bunun dışında şema birebir aynıdır. Makale de kayıp olarak, Bölüm 54'teki ölçütü kullanır: eğitim verisinin log olabilirliğini enbüyütmek (biz aynı şeyi negatifini enküçülterek yapıyoruz). Makale ayrıca bir düzenleme terimi (ağırlık azaltma, weight decay) kullanır ve parametreleri, Bölüm 52'deki gradyan inişinin her örnekte güncelleyen biçimiyle (stokastik gradyan) eğitir; öğrenme oranı eğitim boyunca küçülür: ε₀ = 10⁻³ ile başlayıp ε_t = ε₀ / (1 + r·t) kuralıyla azalır.¹ Karpathy'nin kodundaki "ilk 100.000 adımda 0,1; sonra 0,01" basamaklı küçülmesi aynı fikrin kaba bir hali.²

Parametre sayısı: doğrusal, üstel değil

Makale, parametre sayısını bir formülle verir: |V|·(1 + n·m + h) + h·(1 + (n−1)·m); burada |V| sözlük boyutu, n modelin mertebesi (bağlamdaki kelime sayısı n−1), m özellik vektörü boyutu, h gizli birim sayısıdır. Makale, parametrelerin yalnızca |V| ile ve n ile doğrusal büyüdüğünü, baskın terimin |V|·(n·m + h) olduğunu söyler.¹ Hesaplayalım: Brown derlemi deneyinde |V| = 16.383, n = 5, m = 60, h = 50 için (tablodaki MLP1 satırı) formül 5.762.483 verir, yani kabaca 5,8 milyon parametre. Makalenin kendi ifadesiyle "milyonlarca parametreli" bir ağ. Bu model, 2003'te kendi başına büyük bir mühendislik zorluğuydu; bir sonraki alt başlığa bak.

Deney sonuçları

Makale iki derlemde (corpus: metin koleksiyonu) çalışır. Birincisi Brown derlemi: 1.181.041 kelime; ilk 800.000'i eğitim, sonraki 200.000'i doğrulama, kalan 181.041'i test için ayrılmıştır. Farklı kelime sayısı 47.578'dir; frekansı 3 ve altı olan seyrek kelimeler tek bir sembolde birleştirilip sözlük 16.383'e indirilmiştir. İkincisi 1995–1996 Associated Press haberleri derlemi: eğitim için yaklaşık 14 milyon (13.994.528) kelime.¹ Sonuçlar bir ölçüt olarak şaşkınlık (perplexity) ile verilir; makale bunu "1/P'nin geometrik ortalaması, yani ortalama negatif log olabilirliğin üssü" diye tanımlar.¹ Bu Bölüm 54'te hesapladığın kaybın üstel hali: kayıp L ise şaşkınlık e^L'dir. Sezgisi: model eşit olasılıkla k seçenek arasında kararsızsa şaşkınlığı k'dır. 27 harfin hepsini eşit olası sayan bir model için kayıp ln 27 = 3,296 ve şaşkınlık tam 27'dir (hesapladık); kayıp 2,1 olan bizim modelimizde şaşkınlık e^2,1 ≈ 8,2, yani model her adımda yaklaşık 8 eşit olası harf arasında kalmış gibi davranır.

Makalenin 1. tablosundan (Brown) seçilmiş satırlar; sayılar şaşkınlıktır, küçük olan daha iyidir. ("n", mertebe; "h", gizli birim; "m", özellik vektörü boyutu.)¹

Makale iki sonucu özellikle vurgular. Birincisi: sinir ağı, en iyi n-gram'dan Brown'da yaklaşık %24, AP News'te yaklaşık %8 daha düşük test şaşkınlığına ulaşır (AP News'te MLP için 109, 5. mertebe Kneser-Ney için 117).¹ İkincisi: sinir ağı daha uzun bağlamdan yararlanır: Brown'da bağlamı 2 kelimeden 4 kelimeye çıkarmak sinir ağını iyileştirir, n-gram'ları iyileştirmez.¹ İşte 56.1'de yaşadığımız, bağlam büyüdükçe tablonun seyrekleşmesi sorununun makaledeki karşılığı.

Tablonun ilk iki sütununa bir de bu gözle bak: MLP1 için eğitim şaşkınlığı 182, doğrulama 284: ağ, gördüğü metinde, görmediği metne göre belirgin biçimde daha iyi. Silinmiş interpolasyonlu trigram'da fark çok daha uçtur: eğitimde 31, doğrulamada 352; sayım tablosu eğitim metnini neredeyse ezberler. Bu fark, 56.4'ün konusudur.

Maliyet: 2003'te bunu eğitmek

Makalenin bir bölümü tümüyle paralel gerçekleme (parallel implementation) konusudur, çünkü ağı eğitmek, o zamanki bilgisayarlar için ağırdı. En büyük darboğaz çıkış katmanıdır: n-gram'ın aksine, sinir ağı her tahminde sözlükteki bütün kelimelerin skorunu hesaplamak zorundadır. AP News deneyi, 40 işlemcili bir kümede yaklaşık üç hafta sürmüştür ve yalnızca 5 tur (epoch) yapılabilmiştir.¹ Yazarlar iki paralelleştirme yolu dener: veri paralelliği (her işlemci verinin farklı bir kısmında çalışır) ve parametre paralelliği (her işlemci parametrelerin bir kısmını üstlenir). En büyük ağın parametrelerinin neredeyse 100 megabyte tuttuğunu ve bunların hepsini ağ üzerinden sürekli değiş tokuş etmenin çok yavaş olacağını yazarlar.¹ Bu kelimeler, Bölüm 58.5'te dev modellerin GPU kümelerinde nasıl eğitildiğini anlatırken yeniden karşına çıkacak: sorun 2003'te de aynıydı; yalnızca ölçek bugün çok daha büyük.

56.4 Eğitim, doğrulama, test kümeleri; hiperparametre

Bengio tablosundaki eğitim–doğrulama farkını (182'ye karşı 284) bir hukukçu olarak hemen anlayacaksın: bir öğrenci, çalıştığı çıkmış sorulara bakarak cevap verirse notu yüksek çıkar; hiç görmediği bir soruyla karşılaştığında notu düşer. Sınavın ölçtüğü şey, öğrenilenin yeni durumlara taşınıp taşınmadığıdır; ezberlenmiş soruların cevabı bunu ölçmez. Bu ayrım, makine öğrenmesinde üç ayrı kümeyle kurumsallaşmıştır.

Üç küme

• Eğitim kümesi (training set): parametreleri güncellemek için kullanılır. Model gradyanları yalnızca bunlardan hesaplar.
• Doğrulama kümesi (validation set, dev set): eğitimde hiç kullanılmaz; modelin gelişimini izlemek ve seçim yapmak için kullanılır: hangi öğrenme oranı, hangi boyut, ne zaman durmalı? Karpathy bunu Xdev, Ydev diye adlandırır.
• Test kümesi (test set): en sonda, yalnızca bir kez, nihai sonucu bildirmek için bakılır. Seçimlerin hiçbiri ona bakarak yapılmaz.

Karpathy'nin kodunda bölme şöyledir: isimler karıştırılır (random.shuffle), ilk %80'i eğitim, sonraki %10'u doğrulama, son %10'u test olur.² Bölme, isimler üzerinden yapılır (aynı ismin örnekleri aynı kümede kalır); örnek sayıları bizim çalıştırmamızda 182.625 / 22.655 / 22.866'dır. Bengio makalesinde de aynısı vardır: Brown derleminin ilk 800.000 kelimesi eğitim, sonraki 200.000'i doğrulama ("model seçimi, ağırlık azaltma, erken durdurma" için), kalan 181.041'i test.¹ Hukuk benzetmesine dönersek: eğitim kümesi, öğrencinin çalıştığı içtihat ve çıkmış sorular; doğrulama kümesi, hazırlanırken kendini denediği deneme sınavı; test kümesi, gerçek sınavdır. Deneme sınavına bakarak çalışma planını değiştirirsin; ama gerçek sınavın sorularını önceden görüp ona göre çalışırsan, sınav artık seni ölçmez.

Aşırı öğrenme ve eksik öğrenme

Bölüm 52.4'te aşırı öğrenme (overfitting)i tanıdın: model eğitim verisinin ayrıntılarını (hatta tesadüflerini) ezberler, yeni veride kötüleşir. Eğitim kaybı ile doğrulama kaybı arasındaki açılan makas bunun işaretidir. Tersi de vardır: eksik öğrenme (underfitting), modelin eğitim verisinde bile iyi olamamasıdır: ya çok küçüktür, ya yeterince eğitilmemiştir. Eğitim ve doğrulama kayıpları birbirine yakın ve ikisi de yüksekse: eksik öğrenme. Eğitim düşük, doğrulama yüksekse: aşırı öğrenme.

Kendi çalıştırmamızda (not defterindeki tarifle, 200.000 adım): eğitim kaybı 2,122, doğrulama kaybı 2,166, test kaybı 2,165. Eğitim ile doğrulama arasında küçük bir fark var; model çok az ezberlemiş. (Not defterinde kayıtlı çıktı biraz farklıdır, 2,126 ve 2,170; fark rastgelelikten ve veri bölmesinin ayrıntısından gelir.)²⁶ Şimdi tüm resmi tek tabloda görelim. Aynı kodu yalnızca bağlam uzunluğunu değiştirerek (block_size = 1…6; gömme boyutu 10, gizli katman 200, 200.000 adım sabit) çalıştırdık ve doğrulama kümesindeki ortalama kaybı, aynı bölmede sayım tablosunun en iyi yumuşatmayla aldığı kayıpla yan yana koyduk:⁶

Tabloyu üç gözlemle oku. (1) Boyutlar: sayım tablosunun hücre sayısı 729'dan on milyarlara çıkar; MLP'nin parametre sayısı 7.897'den 17.897'ye, her ek harf için sabit 2.000 (10 boyut × 200 nöron) artar. (2) Küçük veride bağlam bir noktadan sonra yarar sağlamaz: iki yöntemde de doğrulama kaybı 3 harften sonra yükselir (tabloda 4 harfte 2,152; MLP'de 4 harfte 2,178), yani 228 bin örneklik bu isim kümesi, 3–4 harftan fazlasını desteklemiyor. Bunu büyük modellerin bağlamını anlatırken hatırlayacaksın: uzun bağlamın işe yaraması, onu kullanmayı öğretecek veriyi da ister. (3) Tablonun bozulması daha sert: 6 harfte tablo 2,459'a düşüyor (neredeyse bigram'ın 2,453'ü kadar kötü), MLP ise 2,266'da kalıyor. Eğitimle doğrulama farkına bak: tabloda 6 harfte eğitim kaybı 1,766, doğrulama 2,459 (fark 0,69); MLP'de 2,247 ve 2,266 (fark 0,02). Tablo ezberler; MLP'nin sınırlı parametreleri onu daha az ezberlemeye zorlar. (Bu kıyas bu veri kümesi ve bu hiperparametrelerle geçerlidir; MLP'yi bağlam başına ayrı ayrı ayarlamadık.)

Hiperparametre

Parametre (parameter), eğitimin öğrendiği sayılardır: C, W1, b1, W2, b2; 11.897 tane. Hiperparametre (hyperparameter) ise eğitimden önce bizim seçtiğimiz, modelin kendi öğrenmediği ayardır. Bu bölümdeki modelde hiperparametreler şunlardır:

• bağlam uzunluğu (block_size = 3),
• gömme boyutu (10),
• gizli katmandaki nöron sayısı (200),
• öğrenme oranı (0,1, sonra 0,01) ve ne zaman düşürüleceği (100.000. adımda),
• mini yığın boyutu (32),
• adım sayısı (200.000).

Bunlar neden "doğrulama kümesiyle" seçilir? Çünkü bir hiperparametreyi eğitim kaybına bakarak seçmek, "ezberlemeyi en çok kolaylaştıran" ayarı seçmek olur (örneğin ne kadar büyük model, o kadar düşük eğitim kaybı). Doğru ölçüt, modelin görmediği veri üzerindeki kaybıdır. Test kümesi bunun için kullanılmaz; çünkü seçim yaptıkça doğrulama kümesine biraz "uyarsın". Nihai bir kez bakılacak yer test kümesidir.

Mini yığın ve öğrenme oranı taraması

Not defterinde iki küçük numara daha var; ikisi de her sinir ağı eğitiminde karşına çıkar.

Mini yığın (minibatch). Eğitim kümesinde 182 bin örnek var. Her güncelleme adımında hepsinin gradyanını hesaplamak pahalıdır. Karpathy bunun yerine her adımda rastgele 32 örnek seçer (ix = torch.randint(0, Xtr.shape[0], (32,))), kaybı ve gradyanı yalnızca onlar için hesaplar. Bu gradyan, bütün veriden hesaplanacak olandan biraz sapar (gürültülüdür), ama doğru yöne kabaca işaret eder ve hesaplaması yaklaşık 5.700 kat ucuzdur (182.625 ÷ 32). Eğitim kodunda bu tek satırdır.² Bu yüzden eğitim sırasında yazdırdığın kayıp, her seferinde farklı 32 örneğe bağlı olarak inip çıkar: hata değil, mini yığının doğası.

Öğrenme oranı taraması. Bölüm 52.2'de öğrenme oranı η'nın çok büyükse eğitimi patlattığını, çok küçükse yavaşlattığını gördün. Peki doğru değeri nasıl bulursun? Notebook'ta şu yapılır: lre = torch.linspace(-3, 0, 1000) ile −3'ten 0'a eşit aralıklı 1000 üs seçilir, lrs = 10**lre ile bunlar 0,001'den 1'e logaritmik bir ölçekte bir öğrenme oranı listesine dönüşür. Fikir: eğitim, her adımda listenin bir sonraki öğrenme oranını kullanarak yürütülür, kayıp kaydedilir ve kaybın en hızlı düştüğü bölgenin öğrenme oranı iyi bir adaydır. (Not defterinde bu taramanın satırları, lri ve lossi listeleri ve #lr = lrs[i], yorum satırı olarak duruyor; tarama bir kez yapılıp sonuç sabit lr = 0.1 olarak yazılmış.)² Logaritmik ölçeğin sebebi şu: 0,001 ile 0,01 arasındaki fark, 0,5 ile 0,509 arasındaki farktan çok daha önemlidir; öğrenme oranlarını çarpımsal ölçekte aramak daha doğrudur.

Eğitilmiş modelden isim üretmek

Bölüm 53.5'teki örnekleme döngüsü, burada neredeyse aynıdır; yalnızca bağlam bir harf değil, üç harftir ve olasılık, tablodan değil ağdan gelir:

context = [0] * block_size                          # bağlam: ... (isim başı)
while True:
  emb    = C[torch.tensor([context])]               # (1, 3, 10): bağlamın gömmeleri
  h      = torch.tanh(emb.view(1, -1) @ W1 + b1)    # gizli katman
  logits = h @ W2 + b2                              # 27 skor
  probs  = F.softmax(logits, dim=1)                 # olasılıklar
  ix     = torch.multinomial(probs, num_samples=1).item()  # olasılığa göre bir harf çek
  context = context[1:] + [ix]                      # pencereyi kaydır
  out.append(ix)
  if ix == 0: break                                 # bitiş işaretini çektiysek dur

Kendi çalıştırmamızda ilk on isim şunlar: carmahzabelle, khy, myli, tatyanna, sane, mahuen, den, art, kaeli, nellara. Bazıları gerçek isimlere benziyor (tatyanna, kaeli, nellara), bazıları değil (mahuen, carmahzabelle); model isim "kuralını" bilmiyor, harf dizilerinin olasılıklarını öğrendi. Önemli olan şu: aynı döngü, bölümün sonunda, ChatGPT'nin cevap yazarken kullandığı döngüdür (Bölüm 57.4, 58). Fark yalnızca modelin ortasındaki kutudur.

Bu bölümde neler kuruldu

Bigram'ın tek harflik belleğini, son 3 harfi gören bir bağlam penceresine genişlettik. Sayım tablosunun bu genişlemede üstel büyüdüğünü ve seyrekleştiğini gördük. Çözüm olarak harfleri, tek-sıcak vektörler yerine, öğrenilen yoğun vektörlerle (gömme) temsil ettik; gömme matrisi bir arama tablosu ve ağın bir parçasıdır, geri yayılımla öğrenilir. Bu ağın, Bengio vd. (2003) makalesindeki mimarinin küçültülmüş hali olduğunu, aynı makalenin dağıtık temsil, parametrelerin doğrusal büyümesi ve daha uzun bağlamdan yararlanma gibi fikirlerini ve o günün hesaplama maliyetini gördük. Son olarak eğitim, doğrulama ve test kümelerini, aşırı ve eksik öğrenmeyi, parametre ile hiperparametre farkını, mini yığını ve öğrenme oranı taramasını öğrendik.

Bu bölümde tanıştığın terimler sözlükte, Bölüm 56 başlığı altında.

Kaynaklar

1. Yoshua Bengio, Réjean Ducharme, Pascal Vincent, Christian Jauvin, "A Neural Probabilistic Language Model", Journal of Machine Learning Research 3 (2003), s. 1137–1155. Boyutluluk laneti ve 10⁵⁰ − 1 hesabı (Bölüm 1), dağıtık temsilin üç adımı ve kedi/köpek örneği (1.1), mimari ve 1. denklem (Bölüm 2), parametre sayısı formülü, Brown ve AP News deneyleri, Tablo 1 ve 2, paralel gerçekleme (Bölüm 3–4).
2. Andrej Karpathy, nn-zero-to-hero, makemore_part2_mlp.ipynb: bağlam penceresi (block_size), C[X], ağın katmanları ve 11.897 parametre, eğitim döngüsü, öğrenme oranı taraması, bölme, değerlendirme ve örnekleme kodu. Ayrıca makemore deposu (names.txt).
3. Andrej Karpathy, makemore deposu, README: modellerin listesi; "MLP, following Bengio et al. 2003".
4. 3Blue1Brown, "Transformers, the tech behind LLMs" (Deep Learning Bölüm 5), yazılı ders: gömme matrisi, yönlerin anlam taşıması, GPT-3'ün sayıları (50.257 parça, 12.288 boyut).
5. Andrej Karpathy, Neural Networks: Zero to Hero (ders listesi ve açıklamaları): Ders 3'ün konuları (hiperparametre, öğrenme oranı ayarı, train/dev/test, aşırı ve eksik öğrenme); Ders 4'ün konusu (etkinleştirme, gradyan ve BatchNorm).
6. Bölümdeki sayım tabloları, bağlam başına bağlam sayıları, veri bölmesi, parametre sayımı, MLP eğitimleri ve örneklenen isimler bu kitap için yeniden çalıştırılmıştır: veri, makemore deposundaki names.txt (32.033 isim); kod, not defterinin tarifi (random.seed(42) ile karıştırma, %80/%10/%10, mini yığın 32, 200.000 adım, öğrenme oranı 0,1 → 0,01, PyTorch CPU). Sayım tablosu için eğitim kümesinden sayım ve küçük yumuşatma payı denenerek en iyisi alındı.