Yapay Zeka Aptal Bilim İnsanları Tarafından Yazılmış Araştırma Özetleri



Yapay Zeka Aptal Bilim İnsanları Tarafından Yazılmış Araştırma Özetleri

Bir yapay zeka (AI) sohbet robotu, Aralık ayı sonlarında bioRxiv sunucusunda yayınlanan bir ön baskıya göre, bilim adamlarının genellikle tespit edemediği kadar ikna edici sahte araştırma makalesi özetleri yazabilir.1. Araştırmacılar, bilim için çıkarımlar konusunda bölünmüş durumda.

Birleşik Krallık Oxford Üniversitesi’nde teknoloji ve regülasyon okuyan ve araştırmaya dahil olmayan Sandra Wachter, “Çok endişeliyim” diyor. “Artık uzmanların neyin doğru olup olmadığını belirleyemediği bir durumdaysak, karmaşık konularda bize umutsuzca rehberlik etmesi gereken aracıyı kaybediyoruz” diye ekliyor.

Chatbot, ChatGPT, oluşturur gerçekçi ve akıllı görünen metin kullanıcı istemlerine yanıt olarak. Bu bir ‘büyük dil modeli‘, insan tarafından üretilen büyük miktarda metni sindirerek bir görevi gerçekleştirmeyi öğrenen sinir ağlarına dayalı bir sistem. San Francisco, California merkezli yazılım şirketi OpenAI, aracı 30 Kasım’da piyasaya sürdü ve kullanımı ücretsiz.

Piyasaya sürüldüğünden beri, araştırmacılar etik sorunlarla boğuşmak çıktısının çoğunu insan eliyle yazılmış metinden ayırt etmek zor olabileceğinden, kullanımını çevreler. Bilim adamları ön baskı yayınladı2 ve bir başyazı3 ChatGPT tarafından yazılmıştır. Şimdi, Illinois, Chicago’daki Northwestern Üniversitesi’nden Catherine Gao liderliğindeki bir grup, bilim adamlarının bunları tespit edip edemediğini test etmek için yapay araştırma makalesi özetleri oluşturmak için ChatGPT’yi kullandı.

Araştırmacılar, sohbet robotundan, yayınlanan bir seçkiye dayalı olarak 50 tıbbi araştırma özeti yazmasını istedi. JAMA, New England Tıp Dergisi, BMJ, Neşter ve Doğa Tıbbı. Daha sonra bunları bir intihal detektörü ve bir yapay zeka çıktı detektöründen geçirerek orijinal özetlerle karşılaştırdılar ve bir grup tıbbi araştırmacıdan uydurma özetleri tespit etmelerini istediler.

Radarın altında

ChatGPT tarafından oluşturulan özetler intihal denetleyicisinden geçti: medyan özgünlük puanı %100’dü, bu da intihal tespit edilmediğini gösterir. AI-çıktı detektörü, oluşturulan özetlerin %66’sını tespit etti. Ancak insan eleştirmenler daha iyisini yapmadılar: oluşturulan özetlerin yalnızca %68’ini ve gerçek özetlerin %86’sını doğru bir şekilde tanımladılar. Oluşturulan özetlerin %32’sinin gerçek olduğunu ve gerçek özetlerin %14’ünün üretildiğini yanlış bir şekilde tanımladılar.

Ön baskıda Gao ve meslektaşları “ChatGPT inandırıcı bilimsel özetler yazıyor” diyor. “Bilimsel yazıya yardımcı olmak için geniş dil modellerinin etik ve kabul edilebilir kullanımının sınırları belirlenmeyi bekliyor.”

Wachter, bilim adamlarının araştırmanın doğru olup olmadığını belirleyemezlerse “korkunç sonuçları” olabileceğini söylüyor. Okudukları araştırma uydurma olduğu için hatalı araştırma yollarına düşebilecek araştırmacılar için sorunlu olmasının yanı sıra, “bilimsel araştırma toplumumuzda çok büyük bir rol oynadığından, toplumun geneli için çıkarımlar” vardır. Örneğin, araştırmaya dayalı politika kararlarının yanlış olduğu anlamına gelebilir, diye ekliyor.

Ancak New Jersey’deki Princeton Üniversitesi’nde bilgisayar bilimcisi olan Arvind Narayanan şöyle diyor: “Ciddi bir bilim adamının özet oluşturmak için ChatGPT’yi kullanması pek olası değil.” Oluşturulan özetlerin tespit edilip edilemeyeceğinin “ilgisiz” olduğunu ekliyor. “Soru, aracın doğru ve ikna edici bir özet oluşturup oluşturamayacağıdır. Olamaz ve bu nedenle ChatGPT kullanmanın olumlu tarafı çok küçük, olumsuz tarafı ise önemli,” diyor.

AI’nın sosyal etkisini araştıran Irene Solaiman, Sarılma YüzMerkezi New York ve Paris’te bulunan bir yapay zeka şirketi olan , bilimsel düşünce için büyük dil modellerine güvenmekten korkuyor. “Bu modeller geçmiş bilgiler üzerine eğitilmiştir ve sosyal ve bilimsel ilerleme genellikle geçmişten farklı olarak düşünmekten veya düşünmeye açık olmaktan gelebilir” diye ekliyor.

Yazarlar, araştırma makaleleri ve konferans tutanakları gibi bilimsel iletişimleri değerlendirenlerin, yapay zeka tarafından üretilen metinlerin kullanımını ortadan kaldırmak için politikalar koyması gerektiğini öne sürüyor. Kurumlar belirli durumlarda teknolojinin kullanımına izin vermeyi seçerlerse, ifşa konusunda net kurallar oluşturmalıdırlar. Bu ayın başlarında, Temmuz ayında Honolulu, Hawaii’de düzenlenecek olan büyük bir AI konferansı olan Kırkıncı Uluslararası Makine Öğrenimi Konferansı, ChatGPT ve diğer AI dil araçları tarafından yazılan makaleleri yasakladığını duyurdu.

Solaiman, tıp gibi sahte bilgilerin insanların güvenliğini tehlikeye atabileceği alanlarda, dergilerin bilgilerin doğru olduğunu doğrulamak için daha titiz bir yaklaşım benimsemesi gerekebileceğini ekliyor.

Narayanan, bu sorunların çözümünün chatbot’un kendisine değil, “bu davranışa yol açan sapkın teşviklere, örneğin üniversitelerin kalitelerine veya etkilerine bakılmaksızın kağıtları sayarak işe alma ve terfi incelemeleri yapması gibi” odaklanması gerektiğini söylüyor.

Bu makale izin alınarak çoğaltılmıştır ve ilk yayınlanan 12 Ocak 2023’te.



Kaynak : https://www.scientificamerican.com/article/research-summaries-written-by-ai-fool-scientists/

Yorum yapın

SMM Panel PDF Kitap indir