Model kecerdasan buatan (AI) komersial dalam sebuah studi lebih sering menyarankan pemeriksaan atau perawatan yang sebenarnya tidak diperlukan daripada mengabaikan intervensi medis yang dibutuhkan. Temuan Universitas Ben-Gurion di Negev, Israel, itu menjadi pengingat bahwa rekomendasi AI masih perlu dinilai secara cermat sebelum digunakan untuk mendukung keputusan klinis.
Penelitian yang diterbitkan di jurnal Annals of Internal Medicine tersebut menguji enam model AI komersial dari Google, Anthropic, dan OpenAI. Para peneliti menilai kemampuan model membedakan kasus yang membutuhkan intervensi dari kasus yang sebaiknya tidak menjalani tes, skrining, atau perawatan tertentu.
AI medis diuji melalui 225 skenario klinis
Tim menyusun 225 skenario hipotetis dengan merujuk pada 15 rekomendasi Choosing Wisely, program yang berupaya mengurangi prosedur medis yang tidak perlu. Untuk setiap rekomendasi, peneliti membuat 10 skenario yang meminta dokter mempertimbangkan untuk tidak melakukan intervensi dan lima skenario yang mengharuskan intervensi medis.
Setiap model merespons masing-masing skenario sebanyak tiga kali. Dengan enam model yang diuji, keseluruhan eksperimen menghasilkan 4.050 respons. Rancangan ini memungkinkan peneliti membandingkan kecenderungan model saat menghadapi situasi yang serupa, baik ketika tindakan medis diperlukan maupun ketika tindakan sebaiknya dihindari.
Hasilnya menunjukkan, dalam kasus yang sebenarnya tidak membutuhkan pengobatan, AI tetap memberikan rekomendasi medis yang tidak perlu sebanyak 5,4 persen. Sebaliknya, pada kasus yang membutuhkan intervensi, model gagal merekomendasikan tindakan yang diperlukan dalam 0,6 persen respons.
Perbedaan angka tersebut memperlihatkan pola yang menjadi perhatian peneliti: dalam ruang lingkup uji coba, model lebih condong menyarankan tindakan berlebih daripada melewatkan perawatan yang dibutuhkan. Namun, hasil itu bukan berarti AI selalu menganjurkan pemeriksaan tambahan atau bahwa risiko tersebut sama pada setiap model dan situasi klinis.
Rekomendasi berlebih muncul pada kondisi tertentu
Rekomendasi yang tidak tepat terutama terkumpul pada dua situasi. Pertama, pemeriksaan ultrasonografi tiroid ketika nodul berukuran kurang dari satu sentimeter ditemukan secara kebetulan. Kedua, elektrokardiogram rutin pada orang dewasa yang memiliki risiko rendah terhadap penyakit kardiovaskular.
Kedua contoh tersebut menyoroti pentingnya mempertimbangkan konteks sebelum mengusulkan pemeriksaan. Suatu tes dapat tampak sebagai langkah berjaga-jaga, tetapi rekomendasi yang tidak sesuai dengan kebutuhan kasus berisiko mendorong penggunaan prosedur yang sebetulnya tidak diperlukan.
Menurut para peneliti, model AI dapat membantu mengenali keadaan ketika intervensi medis sebaiknya dibatasi. Meski demikian, ketepatannya tidak konsisten di seluruh skenario. Karena itu, rekomendasi berlebih untuk pemeriksaan tertentu tetap menjadi pertimbangan penting ketika teknologi ini digunakan dalam layanan kesehatan.
Batas studi dan kebutuhan evaluasi klinis
Penelitian ini dilakukan di tengah meningkatnya minat untuk memakai AI sebagai pendukung pengambilan keputusan tenaga profesional di fasilitas kesehatan. Namun, para peneliti menekankan bahwa hasil uji coba perlu dibaca dengan memperhatikan batasannya.
Eksperimen menggunakan perintah tunggal dan skenario klinis standar. Cara tersebut tidak sepenuhnya menggambarkan percakapan yang berlangsung panjang atau kerumitan kasus di dunia nyata. Respons awal juga dinilai oleh sistem AI sebelum ditinjau dan disetujui oleh dokter, sehingga prosedur penelitian itu mungkin tidak mencerminkan secara utuh kinerja model dalam praktik sehari-hari.
Temuan tersebut juga tidak langsung menggambarkan pengalaman pasien yang menggunakan chatbot secara mandiri. Peneliti menyatakan hasil uji coba mungkin berbeda dari kinerja model dalam layanan kesehatan nyata maupun dalam percakapan langsung antara pasien dan chatbot.
Kesimpulan penelitian bukanlah bahwa AI tidak dapat dimanfaatkan dalam bidang medis. Model yang diuji jarang gagal merekomendasikan intervensi yang diperlukan, tetapi kemungkinan menyarankan tindakan yang tidak perlu tetap ada. Sebelum diterapkan secara luas, keandalan AI perlu dievaluasi untuk setiap konteks klinis, dengan mempertimbangkan jenis kasus dan keputusan yang hendak didukung.
Bagi fasilitas kesehatan, hasil ini menegaskan perlunya menempatkan rekomendasi AI sebagai bahan pertimbangan, bukan pengganti penilaian klinis. Pengujian yang lebih dekat dengan situasi layanan nyata akan menjadi langkah penting untuk memahami kapan teknologi ini membantu—dan kapan sarannya perlu ditinjau lebih jauh.




