Google yapay zekâ uyku yöntemi geliştirdi

Google'ın yapay zekâ uyku yöntemi, modellerin öğrendiklerini uyku aşamasında kalıcı hâle getirmesini ve eski bilgileri unutmamasını hedefliyor. Google araştırmacıları, yapay zekâ uyku yöntemi adını verebileceğimiz yeni bir öğrenme sistemi önerdi.

Amaç, büyük dil modellerinin yeni bilgileri kalıcı olarak öğrenmesi. Üstelik bunu eski bilgileri kaybetmeden yapması hedefleniyor.

Örneğin ChatGPT, Gemini ve Claude gibi modeller bugün sunulan bir belgeyi yalnızca o sohbet sırasında kullanabiliyor. Çünkü sohbet bitince bilgi çoğu zaman kayboluyor ya da kullanıcıya özel bir bellek girdisi olarak kalıyor.

Ayrıca bu bilgiler modelin genel bilgi dağarcığına eklenmiyor. Bu nedenle kalıcı öğrenme için yeniden eğitim ya da ince ayar (fine-tuning) gerekiyor.

Ancak bu yöntemin de bir sorunu var. Çünkü model yeni şeyler öğrenirken eski bilgi ve becerilerini kaybedebiliyor.

Nitekim literatürde buna "yıkıcı unutma" (catastrophic forgetting) deniyor. Öncelikle sistem, modelin çalışmasını iki aşamaya ayırıyor: aktif (uyanık) aşama ve uyku aşaması.

Aktif aşamada model ayrıca kullanıcılarla konuşuyor ve yeni bilgileri kısa süreli belleğinde tutuyor. Ancak bu bilgiler henüz kalıcı parametrelere aktarılmıyor.

Ardından belirli aralıklarla uyku aşaması devreye giriyor. Model bu sırada yeni girdileri işlemeyi bırakıyor.

Kaynaklarını ise öğrendiklerini kalıcı hâle getirmek için kullanıyor.

Gelişmenin Detayları

Nitekim bu yapay zekâ uyku yöntemi, insan beynindeki hafıza pekiştirme sürecinden esinleniyor. Öncelikle uyku iki parçadan oluşuyor: hafıza pekiştirme ve rüya görme.

Örneğin pekiştirmede geçici bellekteki bilgiler kalıcı bir depolama alanına taşınıyor. Buna karşın rüya görmede model, kendi ürettiği sentetik verilerle alıştırma yapıyor.

Pekiştirme için Mixture of Experts (MoE) mimarisi kullanılıyor. Çünkü bu mimaride her işlemde yalnızca ilgili uzman modüller çalışıyor.

Üstelik uyku sırasında bu yapıya yeni, düşük dereceli (low-rank) uzman modüller ekleniyor. Böylece mevcut parametreleri bozmak yerine ek kapasite oluşuyor.

Levenshtein mesafesi, bir metni diğerine çevirmek için gereken karakter ya da işlem sayısını ölçüyor. Böylece yapay zekâ uyku yöntemi, modelin yalnızca benzer kelimeler üretmesini değil, anlamı da korumasını amaçlıyor.

Bu aşama, insan beyninin REM uykusunda yeni bağlantılar kurmasından esinleniyor. Çünkü model burada kendi eğitim verisini üretiyor.

İlk olarak MoE içindeki uzmanlar arasından rastgele seçimler yapılıyor. Böylece farklı bilgi alanları bir araya geliyor.

Ardından model bu kombinasyonlardan kendi örneklerini, yani "rüyalarını" oluşturuyor. Ancak hepsi eğitimde kullanılmıyor.

Dolayısıyla gradyan tabanlı veri seçimiyle gelişim potansiyeli en yüksek örnekler ayrılıyor.

Son olarak gözetimli ince ayar ve pekiştirmeli öğrenme uygulanıyor. Örneğin Mançu ve Kalamang gibi az kaynaklı dillerde çeviri deneyi yapıldı.

Üstelik yapay zekâ uyku yöntemi birden fazla öğrenme aşamasından geçmesine rağmen önceki görevlerdeki performansını neredeyse hiç kaybetmedi. Buna karşın geleneksel ince ayar ve bağlam içi öğrenmede ciddi düşüşler yaşandı.

Ayrıca BABILong testinde sistem, 10 milyon token uzunluğundaki bağlamlarda neredeyse kusursuz performans gösterdi. Google'ın aktardığı sonuçlar buna göre yöntemin GPT-4 ve Titans gibi sistemleri geride bıraktığını gösteriyor.

Öte yandan SQuAD ve sürekli ön eğitim değerlendirmelerinde sırasıyla yüzde 48,9 ve yüzde 46,2 başarıya ulaştı. Dolayısıyla bu oranlar temel model, geleneksel ince ayar ve SEAL gibi yaklaşımların üzerinde kaldı.

Bu nedenle çalışma, yapay zekâların öğrendiklerini kendi kendine pekiştirebileceği bir geleceğe işaret ediyor. Yine de yöntemin ürünlere ne zaman girebileceğine dair bir takvim paylaşılmadı.

Bu gelişme hakkında sen ne düşünüyorsun? Hesabın varsa giriş yap, adınla yorum yaz.

Yorumlar yapay zekâ destekli ön elemeden geçer; son karar moderatördedir. Topluluk kuralları