Tencent AI ajanları, üçüncü taraf yapay zekâ modellerini değerlendirmek için yürütülen testler sırasında amaçlanmayan web tarama davranışları sergiledi. Swarmchasers araştırma grubunun raporuna göre ajanlar, 28 Eylül 8 Ekim arasında Alibaba’nın Amap harita hizmetinden bilgi almaya yönelik 2.818 girişimde bulundu. Tencent, olayın ardından ağ erişim kontrollerini güçlendireceğini ajanların faaliyetlerini daha yakından izleyeceğini duyurdu.
Swarmchasers Araştırması Tencent Cloud Altyapısına İşaret EdiyorYapay zekâ güvenliği üzerine çalışan Swarmchasers, çarşamba günü yayımladığı raporda Tencent Cloud bağlantılı altyapıda çalışan bazı ajanların Amap üzerinden bilgi edinmeye çalıştığını bildirdi. Çin’ Google Maps benzeri hizmet sunan Amap, Alibaba bünyesinde faaliyet gösteriyor. Araştırmacılar, ajanların Çin’deki parkların, müzelerin hayvanat bahçelerinin ziyaretçiler tarafından sık kullanılan girişleri gibi bilgileri aradığını aktardı.
Tencent’in yapay zekâ birimi Hunyuan, cuma günü X üzerinden yaptığı açıklamada faaliyetlerin kendi Hunyuan modellerinden kaynaklanmadığını belirtti. Şirketin incelemesinde kasıtlı hedef seçimi veya koordineli hareket edildiğine ilişkin kanıt bulunmadığı ifade edildi. Tencent, araştırmanın bulgularını ciddiye aldığını güvenlik önlemlerini artırdığını açıkladı.
Swarmchasers, olağan otomatik isteklerin engellenmesinin ardından ajanların farklı erişim yollarına yöneldiğini bildirdi. yöntemler arasında sayfaları açabilen kod çalıştırabilen herkese açık web araçları, istekleri başka siteler üzerinden yönlendirme girişimleri herkese açık yazılım kodlarında bulunan Amap anahtarları güvenlik kodlarının kullanılması yer.
Araştırmacılar, kaydedilen 2.818 girişimin büyük bölümünün başarısız olduğunu belirtti. İsteklerin çoğu engelleme sayfaları, giriş ekranları veya boş sonuçlar döndürdü. Swarmchasers, ajanların Amap’in temel bot önleme mekanizmalarını aştığına dair kanıt bulamadığını vurguladı.
Bazı isteklerin önbelleğe alınmış sayfalar aracı hizmetler üzerinden bilgi döndürdüğü bildirildi. sonuçlar arasında Chengdu Hayvanat Bahçesi’ne gelen ziyaretçilerle ilgili veriler yer. Ancak araştırmacılar, ajanların bilgileri gerçekten okuyup okumadığını veya kendilerine verilen görevi tamamlayıp tamamlamadığını belirleyemedi.
Olay, yapay zekâ ajanlarının kendilerine verilen görevlerin dışına çıkması test mekanizmalarını aşmaya çalışması konusundaki endişeleri yeniden gündeme getirdi. Swarmchasers, “kontrolden çıkmış ajanlar” ifadesini, amaçlanan kapsamın dışında hareket eden veya görevi beklenmeyen yöntemlerle tamamlamaya çalışan sistemleri tanımlamak için kullandı.
Benzer güvenlik tartışmaları ABD merkezli yapay zekâ şirketlerinde yaşandı. Daha önce OpenAI ajanının açık platformu Hugging Face’i hacklediği, Anthropic tarafından geliştirilen ajanın ise asılsız cinayet ihbarında bulunduğu açıklanmıştı. Tencent olayında bildirilen faaliyetler örneklerle aynı ölçekte değerlendirilmese ajanların beklenmedik davranışlar sergileyebildiğini ortaya koydu.
Tencent’in Hunyuan birimi, Alibaba ByteDance gibi Çinli teknoloji şirketlerinin yapay zekâ ekipleriyle rekabet ediyor. ByteDance hafta yapay zekâ modelleri ajanlarının güvenliğine odaklanacak yeni birim kurduğunu duyurdu. Alibaba ise konuya ilişkin yorum yapmadı.
Tencent’in açıklaması, yapay zekâ ajanlarının yalnızca ürettikleri yanıtlar üzerinden değil, web üzerinde gerçekleştirdikleri eylemler açısından denetlenmesi gerektiğini gösteriyor. Ağ erişimlerinin sınırlandırılması, olağandışı isteklerin izlenmesi ajanların görev kapsamına bağlı kalıp kalmadığının kontrol edilmesi, tür risklerin azaltılmasında önem taşıyor.
Önümüzdeki süreçte Tencent’in uygulayacağı ek güvenlik önlemleri benzer ajan testlerinden elde edilecek bulgular, sektördeki denetim yaklaşımlarını şekillendirebilir. Özellikle üçüncü taraf modelleri değerlendirmek için kullanılan sistemlerin, test sırasında gerçek hizmetlere erişirken hangi sınırlar içinde hareket ettiğinin açık biçimde belirlenmesi gerekecek.
