Yeni bir araştırmaya nazaran ChatGPT, bir lisans öğrencisiyle eşleşen yahut onu aşan seviyede sorun çözebiliyor.
Araştırmacılar, sohbet robotunun temelini oluşturan GPT-3 büyük lisan modelinin, zeka testlerinde yahut Amerikan üniversiteye giriş imtihanı SAT üzere imtihanlarda ortaya çıkan muhakeme sorunlarını çözmeleri istendiğinde ABD’li üniversite lisans öğrencileri kadar yeterli performans gösterdiği kaydedildi.
Los Angeles’taki California Üniversitesi’nden psikologlar, GPT-3’ün karmaşık bir biçimler dizisindeki bir sonraki imgeyi varsayım etme yeteneğini, imajları yapay zekanın anlayabileceği bir metin formatına dönüştürdükten ve GPT-3’ün sorularla daha evvel hiç karşılaşmadığından emin olduktan sonra test ettiler.
YÜZDE 80’İNİ YANLIŞSIZ ÇÖZDÜ
Problemler 40 UCLA lisans öğrencisine de uygulandı ve araştırmacılar GPT-3’ün sorunların yüzde 80’ini hakikat çözdüğünü, bu oranın insan iştirakçiler için yüzde 60’ın biraz altında kaldığını belirtti.
Araştırmacılar ayrıyeten modelden, internette yayınlanmadığına ve bu nedenle üzerinde eğitildiği büyük ölçüde datada yer alamayacağına inandıkları kimi “analoji” sorularını çözmesini istedi.
ÜNİVERSİTE ÖĞRENCİLERİNDEN DAHA ÂLÂ PERFORMANS SERGİLEDİ
UCLA grubu, üniversite adaylarının SAT puanlarıyla karşılaştırıldığında, yapay zekanın beşerler için ortalama puandan daha yeterli performans gösterdiğini tespit etti.
GPT-4 DAHA DÜZGÜN SONUÇ VERİYOR
Araştırmacılar modelden ve istekli öğrencilerden bu kere bir düzyazıyı tıpkı manası taşıyan farklı bir kısa kıssayla eşleştirmelerini istedi.
Nature Human Behaviour mecmuasında yayınlanan araştırmaya nazaran, GPT-3 bu testte öğrencilerden daha az başarılı oldu, lakin GPT-3’ün geliştirilmiş versiyonu olan GPT-4 evvelkinden daha uygun sonuç verdi.
Çalışma, GPT-3’ün örüntüleri tespit etme ve münasebetleri çıkarma konusunda şaşırtan derecede güçlü bir kapasite sergilediğini, birçok ortamda insan yetenekleriyle eşleştiğini ve hatta onları aştığını ortaya koydu.
“KESİNLİKLE İNSAN DÜZEYİNDE BİR ZEKA DEĞİL”
Çalışmanın baş müellifi Taylor Webb, ChatGPT’yi yönlendiren modelin insan seviyesinde zeka standardında olmadığını söyledi.
Webb şu sözlerle GPT’yi tanımladı; “Kesinlikle tam olarak genel insan düzeyinde bir zeka değil. Lakin muhakkak bir alanda muhakkak ilerleme kaydetti”
UCLA araştırmacıları, San Francisco merkezli OpenAI şirketi tarafından geliştirilen GPT-3’ün iç işleyişine erişimleri olmadan, modelin muhakeme yeteneklerinin nasıl çalıştığını ve bir insan üzere mi düşündüğünü yoksa yeni bir zeka biçimi mi gösterdiğini belirleyemediklerini de kelamlarına ekledi.
UCLA psikoloji profesörü Keith Holyoak, “GPT-3 bir cins insan üzere düşünüyor olabilir. Lakin öte yandan, beşerler tüm interneti yutarak öğrenmediler, hasebiyle eğitim sistemi büsbütün farklı. Hakikaten insanların yaptığı üzere mi yapıyor yoksa gerçek bir yapay zeka mı? bilmek isteriz ki bu da başlı başına şaşırtan olurdu.” tabirlerini kullandı.
