·
Journal of Medical Internet Research dergisinde
yayınlanan bir araştırmaya göre, ChatGPT'nin halefi, %60 oranında sağlık
kılavuzu tavsiyelerine uygun cevaplar veriyor, ancak düşük ila orta kalitede
bilgi veriyor.
·
Araştırmacılar metin üreten yapay zeka
programına beş durum için kılavuz önerileri hakkında sorular sordu. GPT-4 YZ,
25 tavsiyenin 15'ine uyan yanıtlar verdi.
·
Analize dayanarak, araştırmacılar yapay zeka
teknolojisinin çevrimiçi olarak mevcut olanlara benzer kalitede tıbbi bilgi
sağladığı ve eğitim veri kümelerinin hakemli çalışmalarla sınırlandırılması
durumunda yanıtların iyileşeceği sonucuna vardılar.
ChatGPT ve halefi GPT-4 gibi üretken YZ modellerinin
soruları yorumlama ve yanıtlama yeteneği, tıbbi bilgi sağlamak ve hastalığın
teşhisine yardımcı olmak için teknolojilerin kullanılmasına olan ilgiyi
artırıyor.
Modellerin güçlü yönlerini ve sınırlamalarını anlamak için
araştırmacılar GPT-4'e beş hastalık (safra taşı hastalığı, pankreatit,
karaciğer sirozu, pankreas kanseri ve hepatoselüler karsinom) için kılavuzlara
dayalı 25 soru sordu ve çevrimiçi olarak mevcut bilgilerin kalitesini ölçmek
için tasarlanmış bir araç kullanarak verdiği yanıtları değerlendirdi.
Analiz, yapay zekanın internete benzer kalitede bilgi
sağladığını gösterdi. Safra taşı hastalığında Hastalar için Kaliteli Bilgi
Sağlama puanı 16 olurken, online bilgi çalışmalarında bu puan medyan olarak
15'tir. Araştırmacıların belirttiği gibi, benzer sonuçlar GPT-4'ün çevrimiçi
bilgiler üzerinde eğitilmiş olmasıyla açıklanabilir.
Modelin bir sınırlaması, tartışmalı tıbbi tavsiyeleri
vurgulamadaki başarısızlığıdır. Araştırmacılar, YZ'nin pankreas kanseri
tedavileri olarak cerrahi, kemoterapi ve radyoterapiyi, müdahaleler arasında
eşdeğerlik olduğunu öne sürecek şekilde listelediğini ve bakım sıralamasını
açıklayamadığını tespit etmiştir. Radyoterapinin rolü sınırlıdır ve modelin
ifade edemediği nüanslar tartışma konusudur.
Yazarlar, "YZ, kullanıcısına hangi tıbbi bilgilerin
tartışmalı olduğunu, hangi bilgilerin açıkça kanıta dayalı olduğunu ve yüksek
kaliteli çalışmalarla desteklendiğini ve hatta hangi bilgilerin bir bakım
standardını temsil ettiğini bildirmiyor" diye yazdı.
Bu sınırlamalar ışığında araştırmacılar, GPT-4 gibi modeller
tarafından kullanılan tıbbi bilgilerin hakemli çalışmalarla sınırlandırılmasını
ve kullanıcıların cevapları destekleyen makaleleri okuyabilmeleri için bir
kaynakça özelliği eklenmesini önermektedir. Yazarlar, geliştirildiği takdirde
"sohbet robotlarının kılavuzların yerini bile alabileceğini, çünkü
klinisyenlerin büyük belgeleri bulma, indirme ve okuma ihtiyacını ortadan
kaldırarak hızla bilgi ve rehberlik elde edebileceklerini" düşündüklerini
söyledi.
