ChatGPT’s Role in Coronary Artery Bypass Graft Information: A Critical Assessment
Hakki Kursat Cetin1, Hale Bolgi Demir2, Tolga Demir11Department of Cardiovascular Surgery, University of Health Sciences Türkiye, Sisli Hamidiye Etfal Training and Research Hospital, Istanbul, Türkiye2Department of Cardiovascular Surgery, University of Health Sciences Türkiye, Gaziosmanpasa Training and Research Hospital, Istanbul, Türkiye
Objective: This research evaluates the accuracy and reliability of ChatGPT’s responses to inquiries concerning coronary artery bypass graft (CABG) surgery.
Methods: Between December 1, 2024, and December 15, 2024, two sets of questions were used to assess ChatGPT’s performance: (1) a list of frequently asked questions (FAQs) sourced from official cardiovascular surgery websites, professional healthcare platforms, and social media, and (2) a list of scientific questions derived from the 2021 American Association for Thoracic Surgery (AATS) Guidelines for CABG in patients with ischemic cardiomyopathy and heart failure. Responses were evaluated using the modified DISCERN scoring system. To test reproducibility, each question was asked twice on separate computers within the same day. Two experienced cardiovascular surgeons independently scored the responses, and any disagreements were resolved through discussion.
Results: A total of 107 FAQs were assessed, of which 88 met the inclusion criteria. Based on the modified DISCERN scale, 71 responses (80.7%) received a score of 5, while 9 responses (10.2%) were rated as 4. The highest accuracy was observed in the preoperative preparation category, where all responses achieved a perfect score. Regarding scientific questions derived from the AATS Guidelines, 15 out of 20 (75.0%) were answered thoroughly and satisfactorily. The reproducibility rate was 92.0% for FAQs and 90.0% for guideline-based questions.
Conclusion: This study is the first to demonstrate that ChatGPT provides highly accurate and dependable responses regarding CABG surgery, particularly for frequently asked questions. Although performance declines slightly when addressing scientific questions based on guidelines, the reproducibility rate remains high. These findings indicate that AI-driven tools like ChatGPT could play a valuable role in patient education and enhancing public awareness about CABG surgery.
ChatGPT'nin Koroner Arter Baypas Greft Bilgilerindeki Rolü: Kritik Bir Değerlendirme
Hakki Kursat Cetin1, Hale Bolgi Demir2, Tolga Demir11Türkiye Sağlık Bilimleri Üniversitesi, Şişli Hamidiye Etfal Eğitim ve Araştırma Hastanesi, Kardiyovasküler Cerrahi Kliniği, İstanbul2Türkiye Sağlık Bilimleri Üniversitesi, Gaziosmanpaşa Eğitim ve Araştırma Hastanesi, Kardiyovasküler Cerrahi Kliniği, İstanbul
Amaç: Bu araştırma, ChatGPT'nin koroner arter baypas greft (KABG) cerrahisiyle ilgili sorulara verdiği yanıtların doğruluğunu ve güvenilirliğini değerlendirmektedir.
Yöntemler: 1 Aralık 2024 ile 15 Aralık 2024 tarihleri arasında, ChatGPT'nin performansını değerlendirmek için iki soru seti kullanıldı: (1) resmi kardiyovasküler cerrahi web sitelerinden, profesyonel sağlık platformlarından ve sosyal medyadan alınan sık sorulan sorular (SSS) listesi ve (2) iskemik kardiyomiyopati ve kalp yetmezliği olan hastalarda KABG için 2021 Amerikan Torasik Cerrahi Derneği (AATS) Kılavuzu'ndan türetilen bilimsel sorular listesi. Yanıtlar, değiştirilmiş DISCERN puanlama sistemi kullanılarak değerlendirildi. Tekrarlanabilirliği test etmek için, her soru aynı gün içinde ayrı bilgisayarlarda iki kez soruldu. İki deneyimli kardiyovasküler cerrah yanıtları bağımsız olarak puanladı ve herhangi bir anlaşmazlık tartışma yoluyla çözüldü.
Sonuçlar: Toplam 107 SSS değerlendirildi ve bunların 88'i dahil etme kriterlerini karşıladı. Değiştirilmiş DISCERN ölçeğine göre 71 yanıt (%80,7) 5 puan alırken, 9 yanıt (%10,2) 4 olarak derecelendirildi. En yüksek doğruluk, tüm yanıtların mükemmel puan aldığı ameliyat öncesi hazırlık kategorisinde gözlendi. AATS Kılavuzlarından türetilen bilimsel sorularla ilgili olarak, 20'den 15'i (%75,0) kapsamlı ve tatmin edici bir şekilde yanıtlandı. SSS için tekrarlanabilirlik oranı %92,0 ve kılavuza dayalı sorular için %90,0 idi.
Sonuç: Bu çalışma, ChatGPT'nin özellikle sık sorulan sorular için KABG cerrahisiyle ilgili son derece doğru ve güvenilir yanıtlar sağladığını gösteren ilk çalışmadır. Kılavuzlara dayalı bilimsel soruları ele alırken performans biraz düşse de, tekrarlanabilirlik oranı yüksek kalmaya devam etmektedir. Bu bulgular, ChatGPT gibi yapay zeka destekli araçların hasta eğitiminde ve koroner arter baypas cerrahisi hakkında toplumsal farkındalığın artırılmasında değerli bir rol oynayabileceğini göstermektedir. (SETB-2025-03-072)
Manuscript Language: English