Estudio: ChatGPT tiene un "desempeño deficiente" de la autoevaluación para urólogos

Un estudio publicado en Urology Practice reveló que el chatbot ChatGPT tiene un desempeño “deficiente” en una importante herramienta de autoevaluación especializada.

ChatGPT logró menos del 30 % de respuestas correctas en el programa de estudio de autoevaluación para urología (SASP) de la Asociación Americana de Urología (AUA), ampliamente utilizado.

ChatGPT no solo tiene una baja tasa de respuestas correctas con respecto a preguntas clínicas en la práctica urológica, sino que también comete ciertos tipos de errores que representan un riesgo de difundir información médica errónea", comentan Christopher M. Deibert, MD, MPH, y colegas de la Universidad de Centro Médico de Nebraska.

Decidieron analizar a ChatGPT en una prueba avanzada sobre de conocimiento clínico en una especialidad quirúrgica.  Se hizo en un examen de práctica de 150 preguntas que aborda el plan de estudios básico del conocimiento médico en urología.

Esta prueba es “valiosa de conocimiento clínico” para urólogos en formación y especialistas en ejercicio que se preparan para la certificación de la Junta. El estudio excluyó 15 preguntas que contenían información visual como imágenes o gráficos.

CONCLUSIONES SOBRE CHATGPT 

ChatGPT dio respuestas correctas a menos del 30 % de las preguntas del SASP:

• El 28,2 % de las preguntas de opción múltiple
• El 26,7 % de las preguntas abiertas.

El chatbot proporcionó respuestas "indeterminadas" a varias preguntas.

Para la mayoría de las preguntas abiertas, ChatGPT proporcionó una explicación de la respuesta seleccionada. Las explicaciones proporcionadas por ChatGPT fueron más largas que las proporcionadas por SASP, pero "frecuentemente redundantes y de naturaleza cíclica".

"En general, ChatGPT a menudo daba justificaciones vagas con declaraciones amplias y rara vez comentaba detalles", escriben el doctor Deibert y sus colegas.

“Incluso cuando recibió comentarios, "ChatGPT reiteró continuamente la explicación original a pesar de ser inexacta".

Explican que la utilización de ChatGPT en urología tiene una alta probabilidad de facilitar “la desinformación médica para el usuario no capacitado".