Hızlı Arama
Ürolojik acil durumlarda ChatGPT'nin yanıt yetkinliği
Mazhar Ortaç1, Rıfat Burak Ergül1, Hüseyin Burak Yazılı2, Muhammet Firat Özervarlı1, Şenol Tonyalı1, Omer Sarılar2, Faruk Özgör21Üroloji Anabilim Dalı, İstanbul Tıp Fakültesi, İstanbul Üniversitesi, İstanbul-Türkiye2Üroloji Kliniği, Haseki Eğitim ve Araştırma Hastanesi, İstanbul-Türkiye
AMAÇ: Son yıllarda, yapay zekâ (AI) uygulamaları tıpta ve birçok diğer alanda bir bilgi kaynağı olarak kullanılmaktadır. Bu çalışma, ChatGPT'nin ürolojik aciller (ÜA) konusunda gösterdiği performansı değerlendiren ilk çalışmadır.
GEREÇ VE YÖNTEM: Çalışma, halk tarafından ürolojik acillerle ilgili sıkça sorulan soruları (SSS) ve Avrupa Üroloji Derneği (EAU) kılavuzlarını incelenerek oluşturulan ürolojik acillerle ilgili soruları içermektedir. SSS, sosyal medya (Facebook, Instagram ve X) veya doktor / hastane web say-falarında halk tarafından sorulan sorular arasından seçilmiştir. Tüm sorular İngilizce olarak ChatGPT 4 (Premium versiyonu) ile sorulmuş ve cevaplar kaydedilmiştir. İki ürolog, yanıtları global kalite puanı (GQS) skalasına göre 1-5 puan arasında değerlendirmiştir.
BULGULAR: Toplam 73 yanıtın 53'ü (%72.6) 5 GQS puanına sahipti ve yalnızca 2 yanıt (%2.7) 1 GQS puanına sahipti. 1 GQS puanına sahip yanıtlar priapizm ve ürosepsis ile ilgiliydi. En yüksek GQS puanına (%82.3) sahip konu ürosepsis iken, en düşük puanlar renal travma (%66.7) ve postrenal akut böbrek 15 hasarı konularındaydı (%66.7). EAU kılavuzuna dayalı olarak oluşturulan soru sayısı 42 idi. Bu sorulara oluşturulan yanıtların 23'ü (%54.8) hekimlerden 5 GQS puanı aldı. SSS'ye yönelik yanıtlar için GQS ortalama puanı 4.38±1.14 idi ve bu, EAU kılavuzuna dayalı sorular için ortalama GQS puanından (3.88±1.47) istatistiksel olarak daha yüksekti (p=0.009).
SONUÇ: Bu çalışma, ilk kez ChatGPT'nin SSS'lerin yaklaşık dörtte üçünü doğru ve tatmin edici bir şekilde yanıtladığını göstermiştir. Buna karşılık, ÜA hakkında kılavuz temelli soruları yanıtlarken ChatGPT'nin doğruluğu ve yetkinliği önemli ölçüde azalmıştır.
ChatGPT's competence in responding to urological emergencies
Mazhar Ortaç1, Rıfat Burak Ergül1, Hüseyin Burak Yazılı2, Muhammet Firat Özervarlı1, Şenol Tonyalı1, Omer Sarılar2, Faruk Özgör21Department of Urology, Istanbul Faculty of Medicine, Istanbul University, Istanbul-Türkiye2Department of Urology, Haseki Training and Research Hospital, Istanbul-Türkiye
BACKGROUND: In recent years, artificial intelligence (AI) applications have been increasingly used as sources of medical information, alongside their applications in many other fields. This study is the first to evaluate ChatGPT's performance in addressing urological emergencies (UE).
METHODS: The study included frequently asked questions (FAQs) by the public regarding UE, as well as UE-related questions formulated based on the European Association of Urology (EAU) guidelines. The FAQs were selected from questions posed by patients to doctors and hospital accounts on social media platforms (Facebook, Instagram, and X) and on websites. All questions were presented to ChatGPT 4 (premium version) in English, and the responses were recorded. Two urologists assessed the quality of the responses using a Global Quality Score (GQS) on a scale of 1 to 5.
RESULTS: Of the 73 total FAQs, 53 (72.6%) received a GQS score of 5, while only two (2.7%) received a GQS score of 1. The questions with a GQS score of 1 pertained to priapism and urosepsis. The topic with the highest proportion of responses receiving a GQS score of 5 was urosepsis (82.3%), whereas the lowest scores were observed in questions related to renal trauma (66.7%) and postrenal acute kidney injury (66.7%). A total of 42 questions were formulated based on the EAU guidelines, of which 23 (54.8%) received a GQS score of 5 from the physicians. The mean GQS score for FAQs was 4.38±1.14, which was significantly higher (p=0.009) than the mean GQS score for EAU guideline-based questions (3.88±1.47).
CONCLUSION: This study demonstrated for the first time that nearly three out of four FAQs were answered accurately and satisfactorily by ChatGPT. However, the accuracy and proficiency of ChatGPT's responses significantly decreased when addressing guideline-based questions on UE.
Makale Dili: İngilizce