San Francisco merkezli yapay zekâ araştırma şirketi OpenAI’dan araştırmacılar, şirketin son teknoloji yapay görme sisteminin kalem ve kâğıt üzere çok da karmaşık olmayan araçlar aracılığıyla kandırılabileceğini keşfetti. Test için bir objenin üzerine diğer bir objenin ismini yazan araştırmacılar, yazılımı kandırarak gördüklerini yanlış tanımlamasını sağladı.
Paylaşılan blog gönderisinde “Bu hücumlara tipografik taarruzlar diyoruz” diyen araştırmacılar, husus hakkında “Modelin metni güçlü bir halde okuma yeteneğinden yararlanarak, elle yazılmış metin fotoğraflarının bile birçok vakit modeli yanıltabileceğini gördük” tabirlerini kullandı. Bu cins taarruzların, yapay görme sistemlerini kandırabilecek lakin üretilmesi çok daha kolay olan “adversarial” manzaralara benzediğini belirtiyorlar.
Sistemi eğitmek için 400 milyondan fazla data kullanıldı:
Modelleri şaşırtmak ve aldatmak için kasıtlı olarak bozulmuş piksellere sahip “adversial” manzaralar, makine görmesine dayanan sistemler için gerçek bir tehlike oluşturuyor. Bir örnek vermek gerekirse araştırmacılar, Tesla’nın şoförsüz araçlarındaki yazılımının, yola belli etiketler yapıştırarak ikaz vermeden şerit değiştirmek için kandırılabileceğini göstermişti. Münasebetiyle bu cins hücumlar, tıptan orduya kadar çeşitli AI uygulamaları için önemli bir tehdit oluşturuyor.
Tekrar de araştırmacılar, ortaya çıkan bu tehlikenin en azından şimdilik endişelenecek bir şey olmadığını söylüyor. Çünkü kelam konusu OpenAI yazılımı, rastgele bir ticari eserde kullanılmayan CLIP isimli deneysel bir sistem. OpenAI’ın geçtiğimiz aylarda tanıttığı genel hedefli bir görme sistemi olan CLIP, eğitilmek için internetten alınan yaklaşık 400 milyon adet manzara ve metin kullanmıştı.
Laboratuvar tarafından paylaşılan bir öteki örnek de CLIP’deki kumbaraları tanımlayan nöron oldu. Bu bileşen sadece kumbara fotoğraflarına değil, tıpkı vakitte dolar ‘$’ işaretleri karşılık verir. Üstteki örnekte olduğu üzere araştırmacılar, bir motorlu testereye ‘$’ işaretleri ekleyerek yapay zekanın onu elektrikli testere yerine kumbara olarak tanımlamasını sağladı.
OpenAI araştırmacıları ayrıyeten, CLIP’in çoklu biçimli nöronlarının, internette bir arama yaparken karşınıza çıkabilecek ön yargılara ve çağrışımlara sahip olduğunu keşfetti. Bunlardan kimileri ‘terörizm’ çağrışımına sahip ‘Ortadoğu’ nöronu ve hem koyu ciltli insanlara hem de gorillere karşılık gelen bir öbür nörondu.
