Evaluation of ChatGPT-4 Performance in Answering Patients’ Questions About the Management of Type 2 Diabetes
Puren Gokbulut, Serife Mehlika Kuskonmaz, Cagatay Emir Onder, Isilay Taskaldiran, Gonul KocDepartment of Endocrinology and Metabolic Diseases, Ankara Training and Research Hospital, Ankara, TürkiyeObjective: Type 2 diabetes mellitus, is a disease with a rising prevalence worldwide. Person-centered treatment factors, including comorbidities and treatment goals, should be considered in determining the pharmacological treatment of type 2 diabetes. ChatGPT-4 (Generative Pre-trained Transformer), a large language model, holds the potential performance in various fields, including medicine. We aimed to examine the reliability, quality, reproducibility, and readability of ChatGPT-4's responses to clinical scenarios about the medical treatment approach and management of type 2 diabetes patients.
Methods: ChatGPT-4’s responses to 24 questions were independently graded by two endocrinologists with clinical experience in endocrinology and resolved by a third reviewer based on the ADA(American Diabetes Association) 2023 guidelines. DISCERN (Quality Criteria for Consumer Health Information) Measurement Tool was used to evaluate the reliability and quality of information.
Results: Responses to questions by ChatGPT-4 were fairly consistent in both sessions. No false or misleading information was found in any ChatGPT-4 responses. In terms of reliability, most of the answers showed good (87.5%) followed by excellent (12.5%) reliability. Reading Level was classified as fairly difficult to read (8.3%), difficult to read (50%), and very difficult to read (41.7%).
Conclusion: ChatGPT-4 may have a role as an additional informative tool for type 2 diabetes patients for medical treatment approaches.
Tip 2 Diyabetin Yönetimine İlişkin Hastaların Sorularını Yanıtlamada ChatGPT-4 Performansının Değerlendirilmesi
Puren Gokbulut, Serife Mehlika Kuskonmaz, Cagatay Emir Onder, Isilay Taskaldiran, Gonul KocAnkara Eğitim ve Araştırma Hastanesi, Endokrinoloji ve Metabolizma Hastalıkları Kliniği, AnkaraAmaç: Tip 2 diyabet, dünya çapında görülme sıklığı giderek artan bir hastalıktır. Tip 2 diyabetin farmakolojik tedavisinin belirlenmesinde komorbiditeler ve tedavi hedefleri dahil olmak üzere kişi merkezli tedavi faktörleri dikkate alınmalıdır. Geniş bir dil modeli olan ChatGPT-4 (Generative Pre-trained Transformer), tıp da dahil olmak üzere çeşitli alanlarda potansiyel performansa sahiptir. ChatGPT-4'ün tip 2 diyabet hastalarının tıbbi tedavi yaklaşımı ve yönetimine ilişkin klinik senaryolara verdiği yanıtların güvenilirliğini, kalitesini, tekrarlanabilirliğini ve okunabilirliğini incelemeyi amaçladık.
Yöntem: ChatGPT-4'ün 24 soruya verdiği yanıtlar, endokrinoloji alanında klinik deneyime sahip iki endokrinolog tarafından bağımsız olarak derecelendirildi ve ADA (Amerikan Diyabet Birliği) 2023 kılavuzlarına dayanarak üçüncü bir incelemeci tarafından değerlendirildi. Bilgilerin güvenirliğini ve kalitesini değerlendirmek amacıyla DISCERN (Tüketici Sağlık Bilgilerine Yönelik Kalite Kriterleri) Ölçüm Aracı kullanıldı.
Bulgular: ChatGPT-4'ün sorulara verdiği yanıtlar her iki oturumda da oldukça tutarlıydı. ChatGPT-4 yanıtlarının hiçbirinde yanlış veya yanıltıcı bilgi bulunamadı. Güvenilirlik açısından yanıtların çoğu iyi (%87,5) ve ardından mükemmel (%12,5) güvenilirlik gösterdi. Okuma Düzeyi, okunması oldukça zor (%8,3), okunması zor (%50) ve okunması çok zor (%41,7) olarak sınıflandırıldı.
Sonuç: ChatGPT-4, tip 2 diyabet hastalarına yönelik tıbbi tedavi yaklaşımları açısından ek bir bilgilendirici araç olarak rol oynayabilir. (SETB-2024-05-081)
Manuscript Language: English