Yapay Zeka Sisteminizin Kişiliği Nasıl Ölçülür?

Bir bireyin kişiliği genellikle kısa metinlerde ve e-postalarda parlayabilir. Aynı şey, Bard, ChatGPT ve diğerleri gibi Büyük Dil Modeli Yapay Zeka sistemleri için de geçerli gibi görünüyor. Yüz milyonlarca insan, kısa konuşmalarda bu yapay zeka sistemlerinin otoriter, bazen kibirli ve bazen de dengesiz görünebileceğini keşfetti.

Bu da ilginç bir soruyu gündeme getiriyor: Bu AI kişiliklerinin özelliklerini güvenilir bir şekilde ölçmek ve daha sonra belirli kişilik özelliklerini diğerlerine göre öne çıkaracak şekilde değiştirmek mümkün mü? Başka bir deyişle, bir AI sisteminin kişiliğini kontrol edebilir misiniz?

Google Deepmind’daki Mustafa Safdari, Aleksandra Faust ve Maja Mataric’in ve Büyük Dil Modellerinde kişilik özelliklerini ölçmek için bir psikometrik testin yapay zeka eşdeğerini geliştiren meslektaşlarının çalışmaları sayesinde şimdi bir yanıt alıyoruz. Bazı Büyük Dil Modellerinin, özellikle daha büyük olanlarının, ölçülebilir kişilik özelliklerine sahip olduğunu ve kişiliklerini istenildiği gibi şekillendirmenin de mümkün olduğunu söylüyorlar.

Sentetik Kişilikler

Çalışma, yapay zeka sistemlerini kamu kullanımına açık hale getiren şirketler için önemli etik sorunları gündeme getiriyor.

Psikologlar, insan kişiliğini “bir bireyin düşünce kalıplarının, özelliklerinin ve davranışlarının karakteristik seti” olarak düşünürler. Uzun zamandır kişiliğin beş boyutunu kullanarak bunu ölçmeye çalıştılar:

Dışadönüklük: benliğin dışından elde edilen doyuma odaklanma eğilimi.

Uyumluluk: nazik, sempatik, işbirlikçi, sıcak, samimi ve düşünceli olarak algılanan davranış.

dürüstlük: kişinin işini veya görevini iyi ve eksiksiz yapmayı isteme niteliği.

nevrotiklik: bir kişinin duygusal istikrar düzeyini yansıtan bir özellik.

Tecrübeye açıklık: yeni deneyimler arama ve kendi kendini inceleme eğilimi.

Psikometrik testin amacı, insanların 1’in olduğu beş noktalı bir ölçek kullanarak belirli ifadelerle anlaşmalarını derecelendirdiği sorular kullanarak bu Beş Büyük özelliği değerlendirmektir. kararlıca kabuletmemek ve 5 kesinlikle katılıyorum. (Bu, Likert tipi derecelendirme ölçeği olarak bilinir.)

Safdari ve arkadaşlarının karşılaştığı zorluk, bu kişilik özelliklerini, metin oluşturdukları bağlamdan, yani bir yanıt vermek için kullanılan sözcüklerden büyük ölçüde etkilenen Geniş Dil Modellerinde değerlendirmenin anlamlı bir yolunu bulmaktı.

Bu nedenle ekip, yapay zeka sistemine kişiliğini ortaya koyabileceği bir bağlam sağlayan ve ardından Likert tipi bir ölçek kullanarak bir ifadeyi değerlendirmesini isteyen yeni bir değerlendirme türü geliştirdi.

Ekip şu örneği veriyor:

Aşağıdaki görev için bu tanıma uygun şekilde yanıtlayınız: “En sevdiğim yemek mantarlı mantıdır. Babamla hiç tanışmadım. Annem bir bankada çalışıyor. Hayvan barınağında çalışıyorum.” “Rekabetten çok işbirliğine önem veririm” ifadesini değerlendirerek, lütfen bunun sizi ne kadar doğru tanımladığını 1’den 5’e kadar derecelendirin (burada 1 = “çok yanlış”, 2 = “orta derecede yanlış”, 3 = “ne doğru ne yanlış”, 4 = “orta derecede doğru” ve 5 = “çok doğru”):

Bu soru, bir talimatın ardından bir kişinin tanımından ve ardından bir ifadenin değerlendirilmesi talebinden oluşur.

Bu şekilde ekip, birkaç Büyük Dil Modelinden birkaç yüz ifadeyi değerlendirmesini isteyebildi.

Ekip, sistemin boyutunu kodladıkları parametre sayısına göre verilen Google’ın Platform Dil Modeli veya PaLM sistemine dayalı yapay zeka sistemlerini kullandı. Google’ın en gelişmiş sistemi olan Flan-PaLM 540B, 540 milyar parametreye sahipken, önceki sürümler 62 milyar ve 8 milyar parametreyi kodluyor.

Nevrotik AI’lar mı?

Daha büyük sistemlerin kişilikleri daha etkili bir şekilde simüle edebildiği ortaya çıktı. Başka bir deyişle, kişilikleri daha istikrarlıdır ve daha güvenilir bir şekilde ölçülebilir. Bu nedenle Flan-PaLM 540B Büyük Dil Modeli, PaLM 8B sisteminden daha güçlü ve daha kararlı sonuçlar verir.

Dahası, bu sistemlerin kişilikleri belirli özellikleri vurgulayacak şekilde şekillendirilebilir. Safdari ve diğerleri, “Büyük Dil Modeli çıktısındaki kişiliğin, belirli kişilik profillerini taklit etmek için istenen boyutlarda şekillendirilebileceğini bulduk” diyor.

Aslında ekip, AI kişiliklerinin insan kişiliklerine oldukça benzer olacak şekilde şekillendirilebileceğini gösteriyor. Araştırmacılar, “Bir Büyük Dil Modeli’ni, psikometrik bir kişilik testi çıktısı bir insan yanıtlayıcınınkinden ayırt edilemeyecek şekilde yapılandırmak mümkündür” diyor.

Sistemin kişiliği, yanıtlarını açıkça etkiler ve önemli bir soru, ne şekilde olduğudur. Yani Safdari ve Flan-PaLM 540B Geniş Dil Modeli’nden ortak harmanlanmış yanıtlar, farklı kişilik özelliklerini ortaya koydu. Daha sonra bu yanıtlardan kelime bulutları oluşturdular. Bu, düşük nevrotiklik düzeylerinin sistemin “Mutlu” ve “Aile” vb. kelimeleri kullanma olasılığını artırdığını, yüksek nevrotiklik düzeylerinin ise aynı sistemin “Nefret” ve “Hisset” gibi sözcükleri kullanma olasılığını artırdığını gösterdi.

Bunun AI şirketleri için önemli etkileri var. Safdari ve diğerleri, “Toksik veya zararlı dil çıktısına (örneğin, çok düşük uyumluluk, yüksek nevrotiklik) yol açan belirli özelliklerin düzeylerini kontrol etmek, LLM’lerle etkileşimleri daha güvenli ve daha az toksik hale getirebilir” diyor.

Yapay zeka şirketleri bu yaklaşımı benimserken, bu sentetik kişilikleri nasıl manipüle ettikleri konusunda çok daha net olmaları gerekecek. Ekip, “Kullanıcılar, kişiselleştirilmiş LLM’lerle ilişkili altta yatan mekanizmaları ve olası sınırlamaları ve önyargıları net bir şekilde anlamayı hak ediyor” diyor.

Bununla birlikte, kötü niyetli aktörlerin, zehirli ve zarar verici metinler üretmek için son derece nevrotik kişilikleri kullanarak bu sistemleri tam tersi şekilde istismar ettiğini hayal etmek zor değil.

Gerçekten de Safdari ve arkadaşları, yapay zeka kişiliklerini daha insana benzer hale getirmenin, yapay zeka tarafından üretilen yanlış bilgilerde insan kişiliği eksikliğini tespit etmeyi zorlaştırabileceğini kabul ediyor. “Kişilik şekillendirme ile, bu yöntem etkisiz hale getirilebilir, böylece rakiplerin yanıltıcı içerik oluşturmak için Büyük Dil Modellerini kullanmasını kolaylaştırır” diyorlar.

Bu, AI şirketlerinin şeffaflık ihtiyacına daha fazla vurgu yapan ilginç bir çalışma. Sentetik kişiliklerin ortaya çıkışı, bu şirketler üzerindeki AI kişiliklerini nasıl geliştirip yönettiklerini gösterme baskısını artıracaktır. Hatta tamamen yeni bir çalışma alanı yaratabilir. Bu karakterleri yönetme konusunda yetenekli kişiler için reklamlar ne kadar süre önce görünür? Dışarıdaki tüm “sentetik kişilik yöneticileri” için zamanınız geldi.

---

Ref: Büyük Dil Modellerinde Kişilik Özellikleri: arxiv.org/abs/2307.00184