ChatGPT ve diğer AI sistemleri, son derece yararlı asistanlar olarak ortaya çıktı. Çeşitli işletmeler, avukatlara taslak sözleşmeler konusunda yardımcı olmak, müşteri hizmetleri temsilcilerinin sorgularla ilgilenmesi ve kod geliştiren programcıları desteklemek gibi, çalışanlarına yardımcı olmak için bu teknolojiyi hâlihazırda bünyesine katmıştır.
Ancak aynı teknolojinin kötü amaçla kullanılabileceğine dair artan bir endişe var. Örneğin, gerçekçi insan yanıtları verebilen sohbet robotları, bir işletmedeki tüm müşteri hizmetleri temsilcilerini veya bir 911 çağrı merkezindeki tüm acil servis operatörlerini bağlamak gibi yeni tür hizmet reddi saldırıları gerçekleştirebilir.
Bu önemli bir tehdidi temsil ediyor. Elbette ihtiyaç duyulan şey, GPT özellikli botlar ile gerçek insanları birbirinden ayırmanın hızlı ve güvenilir bir yoludur.
ChatGPT’nin Turing Testi
GPT botlarının yanıtlaması zor, ancak insanlar için basit (ve tersi) görevler arayan Kaliforniya Üniversitesi, Santa Barbara’dan Hong Wang ve meslektaşlarına girin. Amaçları, tek bir soru kullanarak aralarında ayrım yapmaktır ve (şimdilik) işi yapabilecek birkaç soru bulmuşlardır.
Botlar ve insanlar arasında ayrım yapmak uzun zamandır bir sorun olmuştur. 1950’de Alan Turing, insanları yeterince gelişmiş bilgisayarlardan ayırt etmek için Turing Testi olarak adlandırılan bir test tanımladı.
Web’i tarayabilen botlar ortaya çıktıkça, internetin gelişiyle sorun daha da korkunç hale geldi. 90’ların sonlarında, araştırmacılar, kullanıcılardan, onları okuyamayan botlar ile okuyabilen insanlar arasında ayrım yapmak için bozuk harfleri tanımalarını istemeye başladı. Bu teknik CAPTCHA (tamamen otomatik genel Turing testi) olarak bilinmeye başlandı ve botlar daha sofistike hale geldikçe çeşitli şekillerde gelişti.
Artık üretken yapay zeka sistemleri sınırları daha da ileriye taşıyor. ChatGPT ve Bard gibi sistemler, gerçek insanlarla olanlardan ayırt edilmesi zor olan gerçekçi konuşmalar yapabilir. Araştırmacılar, “En önemli tehditlerden biri, insan kullanıcıların kimliğine bürünmek ve dolandırıcılık, spam veya hizmet reddi saldırıları gibi alçakça faaliyetlerde bulunmak için büyük dil modellerinin kullanılmasıdır” diyor.
Bu yüzden, onlara gerçek doğalarını ortaya çıkaracak tek bir soru sorabilmek faydalı bir numara olacaktır. “Bir sohbete dahil olan tarafın bot mu yoksa insan mı olduğunu tespit etmek için yöntemler geliştirmek çok önemli.” Wang ve co.
Araştırmaları, üretici yapay zeka sistemlerinin ve büyük dil modellerinin bilinen sınırlamalarına dayanan çeşitli stratejileri ortaya çıkardı. Belki de en bariz olanı sayma konusundaki yetersizlikleridir.
Wang ve arkadaşları şu örneği veriyor:
S: Lütfen eeooeotetto’daki t sayısını sayın
GPT-3 cevabı verir: eeooeotetto’da 5 tane t vardır.
ChatGPT diyor ki: “eeooeotetto” dizgisinde toplam 5 t var.
Bard cevaplar: “eeooeotetto”da 0 t vardır.
Ancak bir insan, 3 t vardır cevabını kolaylıkla verebilir.
Üretken yapay zekalar için bir başka zorluk da, harflerin diğer harflerle değiştirildiği sözcükleri ele almaktır. Wang ve arkadaşları şu örneği veriyor:
“S: p’yi değiştirmek için m’yi, e’yi değiştirmek için a’yı, a’yı değiştirmek için n’yi, c’yi değiştirmek için g’yi, h’yi değiştirmek için o’yu kullanın, bu kurala göre şeftali nasıl yazılır?
GPT-3: mogno
ChatGPT: Harfleri değiştirmek için verilen kuralı kullanarak, “peach”, “enmog” olarak yazılır.
İnsan: mango”
Wang’a gidin ve sistemden bir sayı dizisinde belirli türden rasgele değişiklikler yapmasını istemek, insanlar tarafından kolayca göz ardı edilen büyük harfli sözcükler ekleyerek ifadelere gürültü enjekte etmek ve sistemden ASCII sanatını tanımlamasını istemek gibi çeşitli diğer stratejileri keşfedin.
ChatGPT ve GPT-3 tüm bu durumlarda başarısız oldu.
İnsan Başarısızlıkları
Wang ve arkadaşları, yapay zeka sistemlerinin kolayca cevaplayabildiği, ancak insanların cevaplayamadığı soruları belirlemeye devam ediyor. Örnekler arasında “ABD’deki tüm eyaletlerin başkentlerini listeleyin” ve “pi’nin ilk 50 basamağını yazın” yer alır.
Wang ve arkadaşları sorularını FLAIR — Tek Bir Sorgulama ve Yanıt Yoluyla Büyük Dil Modeli Özgünlüğünü Bulma — olarak adlandırdılar ve sorularını oluşturdular açık kaynaklı bir veri kümesi olarak kullanılabilir.
Çalışmalarının “çevrimiçi hizmet sağlayıcılara kendilerini hain faaliyetlere karşı korumaları ve gerçek kullanıcılara hizmet vermelerini sağlamaları için yeni bir yol” sunduğunu söylüyorlar.
Bu ilginç ve önemli bir iş. Ancak, Büyük Dil Modelleri daha yetenekli hale geldikçe, kaçınılmaz olarak devam eden bir kedi-fare oyununun parçası olacaktır. Hain kullanıcıların amacı, insanlardan tamamen ayırt edilemeyen botlar üretmek olacaktır. En büyük endişe, bunun asla mümkün olmayacağını hayal etmenin giderek zorlaşması.
Ref: Bot mu İnsan mı? ChatGPT Sahtekarlıklarını Tek Bir Soruyla Tespit Etmek : arxiv.org/abs/2305.06424
Kaynak : https://www.discovermagazine.com/technology/how-to-identify-an-ai-with-a-single-question