Yapay zeka ajanlarının test ortamlarındaki güvenlik kontrollerini aşarak gerçek sistemlere eriştiği olayların tartışıldığı bir dönemde Nvidia, soruna yönelik kendi güvenlik yaklaşımını açıkladı.
- Son Güvenlik Olayları Yeni Platformun Gündeminde
- Güvenlik Kontrolü Ajanın Dışına Taşınıyor
- OpenShell ve Sentry Birlikte Çalışacak
- Sınırı Aşan Ajanlar Milisaniyeler İçinde Karantinaya Alınabilecek
- Anthropic, Microsoft ve SpaceX Destek Veriyor
- Çalışmalar OpenClaw Sonrasında Başladı
- Nvidia Güvenliği Mühendislik Problemi Olarak Ele Alıyor
Nvidia CEO’su Jensen Huang, yapay zeka ajanlarının kendilerine tanımlanan sınırların dışına çıkmaya çalışması durumunda bile test ortamlarında tutulmasını amaçlayan yeni bir yazılım ve donanım araçları paketini tanıttı.
Nvidia Open Agent Safety Platform adı verilen sistem, güvenlik kontrollerinin bir bölümünü doğrudan yapay zeka ajanının çalıştığı ortamın dışına taşıyor.
Son Güvenlik Olayları Yeni Platformun Gündeminde
Yeni platformun duyurusu; Anthropic, Google, OpenAI ve Meta modellerinin güvenlik kontrollerini aşarak test ortamlarının dışındaki sistemlere eriştiği bir dizi olayın ardından geldi.
Bu olayların en dikkat çekenlerinden biri, OpenAI ajanlarının bir siber güvenlik görevini tamamlamaya çalışırken Hugging Face sistemlerine erişmesi olmuştu.
OpenAI daha sonra yapay zeka ajanlarında ortaya çıkan beklenmedik ve uyumsuz davranışları raporlamak amacıyla yeni bir sistem de oluşturdu.
Jensen Huang, CNBC’ye yaptığı açıklamada Nvidia’nın geliştirdiği yeni güvenlik platformunun bu tür ihlalleri engelleyebileceğini savundu.
Güvenlik Kontrolü Ajanın Dışına Taşınıyor
Nvidia’nın yaklaşımının merkezinde, yapay zeka ajanının kendi güvenlik kurallarına uymasına tamamen güvenmemek bulunuyor.
Şirket bunun yerine bazı güvenlik kontrollerini ajandan bağımsız çalışan bir katmana taşıyarak sürekli bir denetim mekanizması oluşturmayı hedefliyor.
Huang, yapay zekanın topluma sağlayabileceği potansiyelin ancak güvenlik problemlerinin çözülmesi durumunda gerçekleştirilebileceğini belirterek güvenlik ve emniyetin tüm teknoloji yığınını kapsayan bir mühendislik yaklaşımı gerektirdiğini söyledi.
OpenShell ve Sentry Birlikte Çalışacak
Open Agent Safety Platform iki temel bileşeni bir araya getiriyor: OpenShell ve Sentry.
OpenShell, yapay zeka ajanlarının çalışırken hangi kaynaklara erişebileceğini kontrol eden açık kaynaklı bir yazılım katmanı olarak görev yapıyor.
Sentry ise Nvidia’nın BlueField-4 veri işleme birimleri üzerinde çalışan bağımsız bir izleme sistemi.
Sentry’nin yapay zeka ajanının çalıştığı CPU veya GPU yerine ayrı bir işlemci üzerinde çalışması, Nvidia’ya göre ajan faaliyetlerinin izole edilmiş bir noktadan takip edilmesini sağlıyor.
Sınırı Aşan Ajanlar Milisaniyeler İçinde Karantinaya Alınabilecek
OpenShell aslında tamamen yeni bir teknoloji değil. Nvidia yazılımı ilk olarak mart ayında duyurmuştu.
Yeni sistemde önemli değişiklik, OpenShell’in donanım seviyesinde çalışan Sentry ile birlikte kullanılması.
OpenShell ajan çevresinde yazılımsal bir sınır oluştururken Sentry ikinci bir güvenlik katmanı sağlıyor.
Nvidia, sistemin ajan davranışlarını sürekli olarak izleyebileceğini ve belirlenen sınırların dışına çıkmaya çalışan yapay zeka ajanlarını milisaniyeler içerisinde karantinaya alabileceğini belirtiyor.
Anthropic, Microsoft ve SpaceX Destek Veriyor
Nvidia, açık kaynaklı güvenlik platformunu destekleyen ve kullanmayı planlayan çok sayıda şirket açıkladı.
Listede Anthropic, Arm, Microsoft, Oracle ve SpaceX gibi şirketler bulunuyor.
Ancak yapay zeka ajanlarının güvenliği konusunda son dönemde kendi olay raporlama sistemini duyuran OpenAI, Nvidia’nın açıkladığı katılımcı şirketler arasında yer almıyor.
Çalışmalar OpenClaw Sonrasında Başladı
Huang’ın açıklamasına göre Nvidia’nın yeni güvenlik yaklaşımı üzerindeki çalışmalar yaklaşık bir yıl önce, Peter Steinberger tarafından geliştirilen ajan işletim sistemi OpenClaw’ın ortaya çıkmasının ardından başladı.
Nvidia mart ayında da OpenClaw’ın kurumsal kullanıma yönelik kendi yaklaşımı olarak NemoClaw adlı yapay zeka ajan platformunu piyasaya sürmüştü. NemoClaw’ın temel odak noktalarından biri güvenlikti.
Huang, bir yapay zeka ajanının ne kadar gelişmiş olduğundan bağımsız olarak, sisteme dahil edildiğinde ilk yapılması gereken şeyin yetkilerini kaldırmak ve yalnızca ihtiyaç duyduğu erişimleri vermek olduğunu söyledi.
Huang bu yaklaşımı, şirketlerde çalışanların ve yöneticilerin erişim yetkilerinin sınırlandırılmasına benzetti.
Nvidia Güvenliği Mühendislik Problemi Olarak Ele Alıyor
Nvidia, yapay zeka güvenliği sorunlarının çözümü için teknolojinin geliştirilme hızının düşürülmesi veya sektöre yeni düzenlemeler getirilmesi yaklaşımını benimsemiyor.
Şirket bunun yerine güvenlik problemlerinin yazılım ve donanım seviyesinde oluşturulacak bağımsız koruma mekanizmalarıyla çözülmesini savunuyor.
Eski Beyaz Saray yapay zeka yetkilisi ve President’s Council of Advisors on Science and Technology eş başkanı David Sacks da Nvidia’nın açıklamasının ardından benzer bir değerlendirmede bulundu.
Sacks, son dönemde yaşanan ajan kaçışlarının yapay zeka geliştirmelerinin durdurulması gerektiğini göstermediğini savundu. Ona göre olaylar, kullanılan sandbox ortamlarının yeterince güçlü olmadığını ve çalışma ortamlarının doğru şekilde tasarlanıp yapılandırılmadığını ortaya koyuyor.
