Hızlı Arama
Tetik parmak tedavisinde sık sorulan sorulara ChatGPT'nin yanıtlarının kalitesinin değerlendirilmesi
Mehmet Can Gezer1, Mehmet Armangil21Mamak Devlet Hastanesi, Ortopedi ve Travmatoloji Kliniği, Ankara-Türkiye2Ankara Üniversitesi Tıp Fakültesi, Ortopedi ve Travmatoloji Anabilim Dalı, El Cerrahisi Ünitesi, Ankara-Türkiye
AMAÇ: Bu çalışma, tetik parmak ile ilgili hasta sorularına yanıt vermede Generative Pre-trained Transformer'in (ChatGPT; OpenAI, San Francisco, CA) doğruluk ve güvenilirliğini değerlendirmeyi amaçlamaktadır. Bu değerlendirme, tedavi öncesinde hasta eğitimini geliştirme potansiyeline sahiptir ve yapay zeka tabanlı sistemlerin hasta eğitim sürecindeki rolünü aydınlatmayı hedeflemektedir.
GEREÇ VE YÖNTEM: Tetik parmak ile ilgili en sık sorulan on soru, hasta eğitimine yönelik web sitelerinden ve literatür taramasından derlenmiş ve ChatGPT'ye yöneltilmiştir. Yanıtlar, iki ortopedi uzmanı tarafından JAMA Benchmark kriterleri ve DISCERN aracı kullanılarak değerlendirilmiştir. Ek olarak, yanıtların okunabilirliği Flesch-Kincaid sınıf seviyesi ile analiz edilmiştir.
BULGULAR: ChatGPT'nin tetik parmak ile ilgili sorulara verdiği yanıtlar için DISCERN puanları 35 ile 47 arasında değişmiş ve ortalama 42 olarak bulunmuştur, bu da "orta" kaliteye işaret etmektedir. Yanıtların %60'ı tatmin edici bulunurken, %40'ında eksiklikler tespit edilmiştir. JAMA Benchmark kriterlerine göre, bilimsel referans eksikliği önemli bir dezavantaj olarak öne çıkmıştır. Ortalama okunabilirlik seviyesi üniversite düzeyindedir, bu da düşük sağlık okuryazarlığına sahip hastalar için bilgiyi anlamayı zorlaştırmaktadır. Yanıtların daha geniş bir hasta kitlesi için erişilebilir ve anlaşılabilir hale getirilmesi gerekmektedir.
SONUÇ: Bulgularımız, bildiğimiz kadarıyla, tetik parmak bağlamında ChatGPT kullanımını araştıran ilk çalışma olduğunu göstermektedir. ChatGPT, tetik parmak hakkında genel bilgiler sağlama konusunda makul bir başarı göstermektedir; ancak, hasta eğitimi için birincil kaynak olarak kullanılmadan önce uzman denetimi gereklidir.
Assessing the quality of ChatGPT's responses to commonly asked questions about trigger finger treatment
Mehmet Can Gezer1, Mehmet Armangil21Department of Orthopedics and Traumatology, Mamak State Hospital, Ankara-Türkiye2Department of Orthopedics and Traumatology, Hand Surgery Unit, Ankara University Faculty of Medicine, Ankara-Türkiye
BACKGROUND: This study aims to evaluate the accuracy and reliability of Generative Pre-trained Transformer (ChatGPT; OpenAI, San Francisco, California) in answering patient-related questions about trigger finger. This evaluation has the potential to enhance patient education prior to treatment and provides insight into the role of artificial intelligence (AI)-based systems in the patient educa-tion process.
METHODS: The ten most frequently asked questions regarding trigger finger were compiled from patient education websites and a literature review, then posed to ChatGPT. Two orthopedic specialists evaluated the responses using the Journal of the American Medical Association (JAMA) Benchmark criteria and the DISCERN instrument (A Tool for Judging the Quality of Written Consumer Health Information on Treatment Choices). Additionally, the readability of the responses was assessed using the Flesch-Kincaid Grade Level.
RESULTS: The DISCERN scores for ChatGPT's responses to trigger finger questions ranged from 35 to 47, with an average of 42, indicating "moderate" quality. While 60% of the responses were satisfactory, 40% contained deficiencies. According to the JAMA Benchmark criteria, the absence of scientific references was a significant drawback. The average readability level corresponded to the university level, making the information difficult to understand for patients with low health literacy. Improvements are needed to enhance the accessibility and comprehensibility of the content for a broader patient population.
CONCLUSION: To the best of our knowledge, this is the first study to investigate the use of ChatGPT in the context of trigger finger. While ChatGPT shows reasonable effectiveness in providing general information on trigger finger, expert oversight is necessary before it can be relied upon as a primary source for patient education.
Makale Dili: İngilizce