Bugün büyük yapay zekâ modellerine Türkçe bir soru sorduğumuzda oldukça doğal cevaplar alabiliyoruz.
ChatGPT, Gemini, Claude ve diğer küresel modeller Türkçe metin yazabiliyor, soruları yanıtlayabiliyor ve uzun içerikleri özetleyebiliyor.
Ancak burada önemli bir ayrım var.
Bir yapay zekânın Türkçe metin üretebilmesiyle Türkçenin dil yapısını ve Türkiye’ye özgü kültürel bağlamı güçlü biçimde işleyebilmesi aynı şey değil.
Türkiye’de geliştirilen BİLGE büyük dil modeli projesinin odaklandığı konulardan biri tam olarak bu fark.
Türkçe neden yapay zekâ için farklı bir dil?
Türkçenin en belirgin özelliklerinden biri sondan eklemeli olması.
Bir kelimenin köküne farklı ekler getirerek çok sayıda yeni anlam oluşturmak mümkün.
Örneğin basit bir kelime, aldığı eklerle kişi, zaman, olumsuzluk, iyelik veya yön gibi farklı bilgileri tek başına taşıyabilir.
İnsanlar için son derece doğal olan bu yapı, yapay zekâ modellerinin metni işleme biçimi açısından önemli hale geliyor.
Çünkü büyük dil modelleri metni bizim gördüğümüz biçimde doğrudan kelimeler halinde okumuyor.
Metin önce “token” adı verilen daha küçük parçalara ayrılıyor.
Model daha sonra bu parçalar arasındaki ilişkileri öğreniyor.
Tokenizer neden önemli?
Metni tokenlara ayıran sisteme tokenizer adı veriliyor.
Bir tokenizer Türkçeye yeterince uygun değilse bazı Türkçe kelimeler gereğinden fazla parçaya ayrılabiliyor.
Bu yalnızca teknik bir ayrıntı değil.
Modelin bir metni işlemek için ihtiyaç duyduğu token sayısı arttıkça bağlam penceresinin kullanımı ve hesaplama maliyeti gibi konular da etkilenebiliyor.
BİLGE’nin geliştirilmesinde bu nedenle Türkçeye özgü tokenizer altyapısına önem veriliyor.
Amaç Türkçe kelimeleri ve ek yapılarını daha verimli şekilde temsil edebilmek.
BİLGE neden Türkçe veriyle eğitiliyor?
Bir dil modelinin bir dili ne kadar iyi kullanabileceği yalnızca tokenizer ile belirlenmiyor.
Modelin eğitim sırasında gördüğü içerikler de kritik öneme sahip.
BİLGE için yaklaşık 1 trilyon Türkçe kelimelik ham veri havuzu oluşturulduğu açıklanıyor.
Bu havuz web içeriklerinden kitaplara, gazetelerden resmî belgelere kadar farklı kaynakları kapsıyor.
Toplanan bütün veriler doğrudan eğitimde kullanılmıyor. Verilerin filtrelenmesi, tekrarların temizlenmesi ve kalite kontrollerinin ardından daha seçilmiş bir eğitim seti oluşturuluyor.
BİLGE için açıklanan yüksek kaliteli eğitim verisi yaklaşık 250 milyar token seviyesinde.
Buna ek olarak 500 milyar sentetik veri üretildiği de belirtiliyor.
Dolayısıyla Türkçe, modelin sonradan öğrendiği küçük bir veri katmanı olmaktan ziyade projenin eğitim stratejisinin merkezinde bulunuyor.
Türkçe konuşmak ile Türkçeyi anlamak aynı şey mi?
Bir dil modelinin gerçekten “anladığını” söylemek felsefi ve teknik açıdan tartışmalı bir konu.
Büyük dil modelleri insanlar gibi düşünmüyor.
Bu nedenle “BİLGE Türkçeyi anlıyor” ifadesini kullanırken bunun bir insanın dili anlamasıyla aynı süreç olduğunu düşünmemek gerekiyor.
Burada daha ölçülebilir olan şey modelin Türkçe görevlerdeki performansı.
Bir soruyu doğru yorumlayabiliyor mu?
Uzun bir Türkçe metindeki ilişkileri takip edebiliyor mu?
Deyimleri doğru bağlamda kullanabiliyor mu?
Kültürel referansları ayırt edebiliyor mu?
Türkçe bir talimatı yerine getirirken anlam kaybı yaşıyor mu?
BİLGE’nin gerçek Türkçe performansını belirleyecek unsurlar bunlar olacak.
Kültür neden dil modelinin bir parçası?
Dil yalnızca kelimelerden oluşmuyor.
Bir toplumun tarihi, gündelik yaşamı, deyimleri, atasözleri, kurumları, yemekleri, yer isimleri ve popüler kültürü de dilin içine yerleşiyor.
Bu nedenle teknik olarak doğru bir çeviri her zaman doğal bir çeviri olmayabiliyor.
İngilizce bir deyimin kelimelerini birebir Türkçeye çevirmek mümkün olsa bile ortaya Türkçede hiç kullanılmayan bir ifade çıkabilir.
İyi bir dil modeli burada kelimeler yerine anlamı taşımalı.
BİLGE’nin geliştirme yaklaşımında kültürel çeviriye ayrıca yer verilmesinin nedeni de bu.
“Türkçe düşünen yapay zekâ” ne demek?
BİLGE için kullanılan dikkat çekici ifadelerden biri “Türkçe düşünen yapay zekâ”.
Bu ifadeyi teknik açıdan dikkatli değerlendirmek gerekiyor.
BİLGE’nin insan gibi Türkçe düşündüğü anlamına gelmiyor.
Buradaki yaklaşım daha çok modelin Türkçeyi başka bir dilden çevrilecek ikincil bir dil olarak görmemesi üzerine kurulu.
Türkçe eğitim verisinin büyüklüğü, Türkçeye yönelik tokenizer ve kültürel bağlam çalışmalarının tamamı bu hedefin parçaları.
Dolayısıyla “Türkçe düşünen” ifadesini modelin geliştirilme yönünü anlatan bir yaklaşım olarak okumak daha doğru.
Yer isimleri ve özel isimler neden zor?
Dil modellerinin karşılaştığı ilginç problemlerden biri özel isimler.
Kişi adları, şehirler, kurumlar, tarihî yapılar veya yalnızca belirli bir bölgede bilinen kavramlar genel dil verilerinde yeterince temsil edilmeyebilir.
Türkiye açısından düşündüğümüzde binlerce yerleşim yeri, tarihî şahsiyet, kurum ve kültürel unsur bulunuyor.
Bunların yalnızca isimlerini bilmek de yeterli değil.
Modelin hangi kavramın neyle ilişkili olduğunu doğru bağlamda değerlendirebilmesi gerekiyor.
BİLGE’nin kültürel bağlam iddiasının gerçek dünyadaki en önemli sınavlarından biri de bu tür örnekler olacak.
BİLGE Türkçe konusunda küresel modellerden daha iyi mi?
Bunu söylemek için henüz erken.
BİLGE’nin geliştirilme yaklaşımı Türkçeyi merkeze alıyor. Bu önemli bir fark.
Ancak bir modelin belirli bir dilde daha iyi olduğunu söylemek için aynı testlerin aynı koşullarda uygulanması ve sonuçların karşılaştırılması gerekir.
Daha önemlisi, laboratuvar testlerinin gerçek kullanıcı deneyimiyle desteklenmesi gerekir.
BİLGE genel kullanıma açıldığında günlük Türkçe, resmî yazışmalar, deyimler, uzun metinler, yöresel ifadeler ve kültürel sorular gibi alanlarda yapılacak testler çok daha anlamlı bir tablo ortaya çıkaracak.
BİLGE’nin asıl Türkçe sınavı henüz başlamadı
BİLGE’nin Türkçe merkezli geliştirilmesi projenin en ayırt edici taraflarından biri.
Ancak bir modelin Türkçe için geliştirilmiş olması tek başına başarı garantisi değil.
Asıl değerlendirme kullanıcıların karşısına çıktığında başlayacak.
Günlük konuşma diliyle sorulan bir soruyu nasıl yorumlayacak?
Bir atasözünün altında yatan anlamı anlayabilecek mi?
Türkiye’ye özgü bir tarihî veya kültürel referansı doğru bağlama yerleştirebilecek mi?
Uzun ve karmaşık Türkçe cümlelerde anlam ilişkilerini koruyabilecek mi?
BİLGE’nin “Türkçe odaklı büyük dil modeli” iddiasının gerçek karşılığını bu soruların cevapları belirleyecek.
Sık Sorulan Sorular
BİLGE neden Türkçeye özel geliştiriliyor?
BİLGE projesinde Türkçe eğitim verileri, Türkçeye yönelik tokenizer ve kültürel bağlam çalışmaları model geliştirme sürecinin temel parçaları arasında yer alıyor.
BİLGE gerçekten Türkçe düşünüyor mu?
“Türkçe düşünen yapay zekâ” ifadesi modelin Türkçe odaklı geliştirilme yaklaşımını anlatıyor. Büyük dil modellerinin çalışma biçimini insan düşüncesiyle birebir eşitlemek doğru değil.
BİLGE Türkçeyi ChatGPT’den daha iyi mi kullanıyor?
Bunu kesin olarak söylemek için yeterli gerçek dünya karşılaştırması bulunmuyor. BİLGE’nin genel erişime açılmasının ardından aynı görevler ve testler üzerinden karşılaştırma yapılması gerekiyor.
BİLGE Türkçe deyimleri anlayabilecek mi?
Türkçe ve kültürel bağlam BİLGE’nin odaklandığı alanlardan biri. Ancak deyim, atasözü ve kültürel referans performansının gerçek kullanıcı testleriyle değerlendirilmesi gerekiyor.
BİLGE sadece Türkçe mi çalışacak?
BİLGE’nin temel odağı Türkçe olsa da açıklanan yetenekleri arasında Türkçe-İngilizce çeviri gibi birden fazla dili ilgilendiren görevler de bulunuyor.
