AI, beyin taramalarını analiz ederek insanların gördüklerinin resimlerini oluşturur

Popüler bir metinden görüntüye üreten yapay zekaya yapılan bir ince ayar, beyin sinyallerini doğrudan resimlere dönüştürmesine olanak tanır. Sistem, hantal ve maliyetli görüntüleme ekipmanı kullanılarak kapsamlı bir eğitim gerektirir, ancak bu nedenle günlük zihin okuma, gerçeklikten çok uzaktır.

Birkaç araştırma grubu daha önce, milyonlarca ila milyarlarca parametrenin ince ayarını gerektiren enerji yoğun yapay zeka modelleri kullanarak beyin sinyallerinden görüntüler oluşturmuştu.

Şimdi, Shinji Nişimoto Ve Yu Takagi Japonya’daki Osaka Üniversitesi’ndeki araştırmacılar, Ağustos 2022’de Stability AI tarafından piyasaya sürülen bir metinden görüntüye oluşturucu olan Stable Diffusion’ı kullanarak çok daha basit bir yaklaşım geliştirdiler. Yeni yöntemleri, milyonlarca yerine binlerce parametre içeriyor.

Normal olarak kullanıldığında, Stable Difusion, rastgele görsel parazitle başlayıp, eğitim verilerinde benzer metin başlıklarına sahip görüntülere benzeyen görüntüler üretmek için ince ayar yaparak bir metin istemini bir görüntüye dönüştürür.

Nishimoto ve Takagi, yapay zekanın beyin sinyalleriyle çalışmasını sağlamak için iki eklenti modeli oluşturdu. Çift, 10.000 farklı manzara, nesne ve insan resmini görüntülerken beyinlerini taramak için fonksiyonel manyetik rezonans görüntüleme (fMRI) kullanan önceki bir çalışmaya katılan dört kişiden alınan verileri kullandı.

Beyin görüntüleme verilerinin yaklaşık yüzde 90’ını kullanan ikili, erken görsel korteks adı verilen görsel sinyalleri işleyen bir beyin bölgesinden gelen fMRI verileri ile insanların izlediği görüntüler arasında bağlantılar kuracak bir model eğitti.

Aynı veri setini, görüntülerin metin açıklamaları arasında bağlantılar oluşturmak için ikinci bir modeli eğitmek için kullandılar – önceki çalışmada beş annotator tarafından yapıldı – ve ventral görsel korteks olarak adlandırılan, görüntülerin anlamını işleyen bir beyin bölgesinden gelen fMRI verileri.

Eğitimden sonra, her bireye göre özelleştirilmesi gereken bu iki model, beyin görüntüleme verilerini doğrudan Kararlı Difüzyon modeline beslenen formlara çevirebilir. Daha sonra, orijinal görüntüler üzerinde eğitim almamış kişilerin yaklaşık yüzde 80 doğrulukla görüntülediği yaklaşık 1000 görüntüyü yeniden oluşturabiliyordu. Bu doğruluk seviyesi, daha önce bir testte elde edilene benzer. aynı verileri çok daha sıkıcı bir yaklaşım kullanarak analiz eden çalışma.

Takagi, “Gözlerime inanamadım, tuvalete gittim ve aynaya baktım, sonra tekrar bakmak için masama döndüm” diyor Takagi.

Ancak çalışma, yaklaşımı yalnızca dört kişi üzerinde test etti ve zihin okuyan AI’lar bazı insanlar üzerinde diğerlerinden daha iyi çalışıyor, diyor Nishimoto.

Dahası, modellerin her bireyin beynine göre özelleştirilmesi gerektiğinden, bu yaklaşımın uzun beyin tarama seansları ve devasa fMRI makineleri gerektirdiğini söylüyor. sikun lin California Üniversitesi’nde. “Bu, günlük kullanım için hiç pratik değil” diyor.

Lin, gelecekte, yaklaşımın daha pratik versiyonlarının insanların sanat yapmasına veya hayal güçleriyle görüntüleri değiştirmesine veya oyuna yeni öğeler eklemesine izin verebileceğini söylüyor.