Caltech araştırmacıları tarafından kurulan yapay zeka laboratuvarı PrismML, küçük dil modellerini akıllı gözlüklere taşımak için Qualcomm ile önemli bir adım attı.
Qualcomm, Snapdragon Summit etkinliğinde PrismML tarafından geliştirilen 1-bit Bonsai LLM modelinin Snapdragon AR1 Gen 1 Platformu üzerine kurulu yapay zeka gözlüklerinde yerel olarak çalışabildiğini gösterdi.
PrismML’nin danışmanları arasında UC Berkeley’den Ion Stoica da bulunuyor.
2 Milyar Parametreli Model Gözlük Üzerinde Çalışıyor
Akıllı gözlükler için geliştirilen Bonsai modeli 2 milyar parametreye sahip.
Model özellikle görüntü ve dil görevleri için optimize edildi. Bu sayede akıllı gözlüğü kullanan bir kişi, çevresinde gördüğü nesneler veya görüntüler hakkında yapay zekaya gerçek zamanlı sorular yöneltebiliyor.
Buradaki önemli nokta ise işlemlerin uzak bir sunucuya gönderilmesi yerine doğrudan cihaz üzerinde gerçekleştirilebilmesi.
Bu yaklaşım, akıllı gözlüklerin sürekli bulut bağlantısına bağımlı olmadan bazı yapay zeka görevlerini yerine getirebilmesinin önünü açıyor.
PrismML Modelleri Dört Kat Küçültebiliyor
PrismML’nin öne çıktığı alanlardan biri, büyük yapay zeka modellerini önemli ölçüde küçülterek daha sınırlı donanımlarda çalıştırabilmesi.
Şirketin yaklaşımı, bu örnekte modellerin boyutunu yaklaşık dört kat azaltırken standart kıyaslama testlerindeki performanslarının büyük bölümünü korumayı hedefliyor.
Böylece normalde yüksek miktarda bellek ve hesaplama gücü gerektiren modellerin akıllı gözlükler gibi daha küçük cihazlarda kullanılabilmesi amaçlanıyor.
PrismML’nin Hedefi Yapay Zekayı Buluttan Cihaza Taşımak
PrismML’nin uzun vadeli hedefi, açık ağırlıklı yapay zeka modellerinin doğrudan kullanıcı cihazlarında çalışmasını yaygınlaştırmak.
Şirket, akıllı telefonların, bilgisayarların ve giyilebilir cihazların mevcut işlem gücünden daha fazla yararlanılabileceğini savunuyor.
Bu yaklaşım aynı zamanda kullanıcı verilerinin işlenmek üzere sürekli olarak yapay zeka şirketlerinin sunucularına gönderilmesine olan bağımlılığı azaltabilir.
PrismML, cihaz üzerinde çalışan açık ağırlıklı modelleri, kapalı yapay zeka laboratuvarlarının gizlilik taahhütlerine ve giderek büyüyen hesaplama altyapılarına bağımlı sistemlere alternatif olarak konumlandırıyor.
Qualcomm İş Birliği PrismML İçin Önemli Bir Adım
Bonsai modelinin Qualcomm’un Snapdragon AR1 Gen 1 platformunda çalışması, PrismML’nin cihaz üzerinde yapay zeka vizyonunun giyilebilir teknolojilere uygulanabileceğini gösteriyor.
Snapdragon AR1 platformu özellikle akıllı gözlükler ve benzeri giyilebilir cihazlar için geliştirildiğinden, küçük dil modellerinin bu donanım üzerinde çalışması gelecekte daha bağımsız yapay zeka gözlüklerinin geliştirilmesine katkı sağlayabilir.
Ancak teknoloji henüz doğrudan tüketici ürününe dönüşmüş değil.
Şu ana kadar PrismML’nin Bonsai modelini kullanan herhangi bir ticari akıllı gözlük duyurulmadı. Qualcomm’un gösterimi, şimdilik teknolojinin uyumlu donanım üzerinde çalışabildiğini ortaya koyuyor.





