GA4 - Google Analitycs
Suscríbete
Suscríbete

Recibe todas las noticias
en tu e-mail

Enfermedades

Estudio: ChatGPT tiene un "desempeño deficiente" de la autoevaluación para urólogos

ChatGPT es un sistema de inteligencia artificial. 

Por Vanesa Rojas

El chatGPT fue analizado por especialistas en urología.(Tara Winstead en Pexels.)

El chatGPT fue analizado por especialistas en urología. | Tara Winstead en Pexels.

Un estudio publicado en Urology Practice reveló que el chatbot ChatGPT tiene un desempeño “deficiente” en una importante herramienta de autoevaluación especializada.

ChatGPT logró menos del 30 % de respuestas correctas en el programa de estudio de autoevaluación para urología (SASP) de la Asociación Americana de Urología (AUA), ampliamente utilizado.

ChatGPT no solo tiene una baja tasa de respuestas correctas con respecto a preguntas clínicas en la práctica urológica, sino que también comete ciertos tipos de errores que representan un riesgo de difundir información médica errónea", comentan Christopher M. Deibert, MD, MPH, y colegas de la Universidad de Centro Médico de Nebraska.

Decidieron analizar a ChatGPT en una prueba avanzada sobre de conocimiento clínico en una especialidad quirúrgica.  Se hizo en un examen de práctica de 150 preguntas que aborda el plan de estudios básico del conocimiento médico en urología.

ChatGPT fue analizado por especialistas. Foto de Matheus Bertelli en Pexels.  
ChatGPT fue analizado por especialistas. Foto de Matheus Bertelli en Pexels.  

Esta prueba es “valiosa de conocimiento clínico” para urólogos en formación y especialistas en ejercicio que se preparan para la certificación de la Junta. El estudio excluyó 15 preguntas que contenían información visual como imágenes o gráficos.

CONCLUSIONES SOBRE CHATGPT 

ChatGPT dio respuestas correctas a menos del 30 % de las preguntas del SASP:

  • El 28,2 % de las preguntas de opción múltiple
  • El 26,7 % de las preguntas abiertas.

El chatbot proporcionó respuestas "indeterminadas" a varias preguntas.

Para la mayoría de las preguntas abiertas, ChatGPT proporcionó una explicación de la respuesta seleccionada. Las explicaciones proporcionadas por ChatGPT fueron más largas que las proporcionadas por SASP, pero "frecuentemente redundantes y de naturaleza cíclica".

"En general, ChatGPT a menudo daba justificaciones vagas con declaraciones amplias y rara vez comentaba detalles", escriben el doctor Deibert y sus colegas.

“Incluso cuando recibió comentarios, "ChatGPT reiteró continuamente la explicación original a pesar de ser inexacta".

Explican que la utilización de ChatGPT en urología tiene una alta probabilidad de facilitar “la desinformación médica para el usuario no capacitado".

En esta nota

Comentarios

Suscríbete

Recibe lo mejor de Mundo Sano en tu casilla de E-mail

Registrarse implica aceptar los Términos y Condiciones