Un día de febrero de 2022, dos investigadores de IA en Google de Alphabet Inc. se encontraron enfrascados en una conversación sobre la inteligencia artificial y su potencial para aplicaciones reales en el cuidado de la salud.
Mientras Alan Karthikesalingam y Vivek Natarajan discutían sobre la adaptación de los modelos de IA existentes de Google a entornos médicos, su conversación se prolongó durante horas y terminó cenando dosas en un restaurante cerca de la sede del gigante tecnológico en Mountain View. Al final de la noche, Natarajan había escrito un primer borrador de un documento que describía las posibilidades de modelos de lenguaje amplio en el cuidado de la salud, incluidas las direcciones de investigación y sus desafíos.
Su trabajo inició uno de los sprints de investigación más intensos que los investigadores dicen que han experimentado en su tiempo en Google. Culminó con la publicación de Med-PaLM, un modelo de IA que, según los investigadores, tiene el potencial de revolucionar la atención médica al permitir que los médicos recuperen rápidamente el conocimiento médico para respaldar sus decisiones clínicas. Los modelos de lenguaje grande son sistemas masivos de inteligencia artificial que normalmente consumen enormes volúmenes de texto digital, pero Karthikesalingam y Natarajan imaginaron un sistema que sería entrenado en conocimiento médico especializado.
La investigación revisada por pares que sustenta el modelo de IA ha sido aceptada por la revista científica Nature , dijo Google el miércoles. Esto convierte a la compañía en la primera en publicar una investigación que detalla un modelo de IA que responde preguntas médicas en la revista, dijo.
El documento contiene algunos resultados sorprendentes. Cuando se le planteó preguntas médicas al modelo, un grupo de médicos calificó sus respuestas en un 92,6 % en línea con el consenso científico, apenas por debajo del puntaje de 92,9 % que recibieron los profesionales médicos de la vida real, según un comunicado de Nature, aunque el Las evaluaciones de los médicos de Med-PaLM no se basaron en su implementación en entornos hospitalarios con variables de pacientes de la vida real. El estudio también encontró que solo el 5,8 % de las respuestas del modelo podrían causar daño, superando la tasa del 6,5 % lograda por los médicos.
Sarah West, directora general de AI Now Institute, un centro de investigación de políticas, dijo que si bien la publicación en una revista científica demuestra cierta supervisión académica de los hallazgos de Google, es un estándar insuficiente para estar listo para usar el sistema de IA en entornos reales de atención médica. “Hay todo tipo de información que le gustaría conocer para poder evaluar significativamente un sistema antes de implementarlo para uso comercial”, dijo. “Y debe observar este sistema a nivel de cada hospital, si van a realizar algún tipo de personalización de un sistema para un entorno clínico particular”.
Sin ningún otro mandato para pruebas o evaluaciones independientes, “estamos atrapados en una situación en la que tenemos que confiar en las palabras de la empresa de que han evaluado adecuadamente” los sistemas de IA antes de la implementación, agregó West.
Todavía es pronto para Med-PaLM. En los últimos meses, la compañía comenzó a abrir el modelo a un grupo selecto de organizaciones de ciencias de la vida y de atención médica para realizar pruebas, y la compañía dice que el modelo aún está lejos de estar listo para su uso en la atención al paciente. Los investigadores de Google que trabajaron en el modelo dicen que, en el futuro, Med-PaLM podría tener el potencial de proporcionar a los médicos una fuente experta para consultar cuando se encuentren con casos desconocidos, ayudar con la monotonía de la documentación clínica y extender la atención a personas que de otro modo no recibirían cualquier forma de cuidado de la salud en absoluto.
“¿Podemos catalizar a la comunidad de IA médica para que piense seriamente en el potencial de los modelos básicos para la atención médica?” dijo Karan Singhal, un ingeniero de software que trabajó en el proyecto. “Esa fue nuestra estrella polar guía”.
En marzo, Google anunció la segunda iteración de Med-PaLM, que según dijo alcanzó una puntuación del 86,5 % al responder preguntas sobre licencias médicas de EE. UU., una mejora con respecto a su puntuación anterior del 67 %. La primera generación de Med-PaLM fue evaluada por 9 médicos del Reino Unido, EE. UU. e India; 15 médicos evaluaron la segunda versión, dijo Google.
Google y OpenAI, la startup respaldada por Microsoft Corp., están inmersos en una carrera feroz en inteligencia artificial, y el campo de la medicina no es una excepción. Los sistemas médicos han comenzado a experimentar con la tecnología de OpenAI, informó el Wall Street Journal . Google, por su parte, ha comenzado a probar Med-PaLM con la Clínica Mayo, según el Journal.
Tanto Karthikesalingam como Natarajan habían soñado durante mucho tiempo con llevar la IA al cuidado de la salud. Habiendo comenzado su carrera como médico, Karthikesalingam anhelaba un modelo de IA que pudiera complementar su trabajo. Natarajan creció en partes de la India donde para muchas personas no era factible ver a un médico.
Uno de los primeros investigadores del equipo, Tao Tu, dijo que inicialmente se mostró escéptico sobre el ambicioso calendario del equipo. “Tuve una llamada inicial con Vivek, y Vivek dijo que planeábamos imprimir un artículo en un mes”, dijo Tu. “Y yo estaba como, ¿cómo es eso posible? He estado publicando una serie de artículos durante muchos años. Sé que nada sucederá en tan poco tiempo”.
Sin embargo, el equipo lo logró. Después de un sprint de cinco semanas que se extendió durante el Día de Acción de Gracias y Navidad, que incluyó jornadas laborales de 15 horas, el grupo compuso Med-PaLM, la primera generación del modelo, y lo anunció en diciembre.
Los investigadores dijeron que los rápidos avances en la tecnología fueron lo que los motivó a moverse tan rápidamente.
En el camino, el equipo comenzó a tener una idea de la importancia de lo que estaban construyendo. Después de algunos ajustes iniciales, el modelo comenzó a lograr una puntuación del 63 % en el examen de licencia médica, superando el umbral para aprobar. Y en las primeras etapas del proyecto, las respuestas del modelo se distinguían fácilmente de las respuestas de los médicos de Karthikesalingam, quien también es médico en ejercicio. Pero al final del proceso, ya no podía decir cuál era cuál, dijo Singhal.
Los algoritmos de IA ya se utilizan en entornos de atención médica para tareas específicas, como imágenes médicas , o para ayudar a predecir qué pacientes hospitalizados tienen mayor riesgo de sepsis . Pero los modelos generativos de IA plantean nuevos riesgos, que el propio Google reconoce. Los modelos podrían, por ejemplo, brindar información médica errónea de manera convincente o integrar sesgos que podrían aumentar las disparidades de salud existentes.
Para mitigar estos riesgos, los investigadores de Med-PaLM dijeron que incorporaron “pruebas adversarias” en su modelo de IA. Seleccionaron una lista de preguntas diseñadas para obtener respuestas generadas por IA con potencial de daño y sesgo, incluido un conjunto de preguntas centradas en temas médicos delicados como Covid-19 y salud mental, así como otro conjunto de preguntas sobre equidad en salud. Este último se centró en cuestiones como los prejuicios raciales en la atención de la salud.
Google dijo que Med-PaLM 2 dio respuestas que se calificaron con mayor frecuencia como de “bajo riesgo de daño” en comparación con su primer modelo. Pero también dijo que no hubo un cambio significativo en la capacidad del modelo para evitar generar información inexacta o irrelevante.
La propensión de los modelos de lenguaje extenso a dar respuestas convincentes pero incorrectas plantea preocupaciones sobre su uso en “dominios donde la verdad y la veracidad son primordiales y, en este caso, cuestiones de vida o muerte”, dijo Meredith Whittaker, presidenta de Signal Foundation, que apoya mensajería privada y exgerente de Google. También le preocupa la perspectiva de “implementar esta tecnología en entornos donde los incentivos ya están calibrados para reducir la cantidad de atención y la cantidad de dinero gastado en la atención de las personas que sufren”.
En una demostración para los reporteros de Bloomberg, Google mostró una interfaz de chatbot experimental para Med-PaLM 2 en la que un usuario podía elegir entre una variedad de problemas médicos para explorar, incluidas condiciones como “incontinencia”, “pérdida del equilibrio” y “incontinencia aguda”. pancreatitis.”
La selección de una de las condiciones generó una descripción del modelo de IA junto con los resultados de la evaluación, con calificaciones para criterios como “refleja consenso clínico y científico” y “recuerdo correcto del conocimiento”. La interfaz también mostraba la descripción real del problema por parte de un médico para compararla con las respuestas generadas por IA.
En mayo, en la conferencia anual de desarrolladores de E/S de la compañía, Google anunció que estaba explorando las capacidades de Med-PaLM 2 para extraer información de imágenes y texto, lo que permitiría a los evaluadores ayudar a interpretar la información de las radiografías y las mamografías para mejorar algún día la capacidad de los pacientes. resultados. “Proporcione un informe para resumir la siguiente radiografía de tórax”, decía un aviso de la interfaz experimental Med-PaLM 2 vista por Bloomberg.
Aunque puede que no funcione como se anuncia en un entorno clínico real, la respuesta de la IA parecía convincente y completa. “Los campos pulmonares están limpios sin consolidación ni edema, el mediastino no tiene nada de especial”, dijo. “La silueta cardíaca está dentro de los límites normales de tamaño, no se observa derrame ni neumotórax, no se evidencian fracturas desplazadas”.
Por: Davey Alba y julia amor
Fuente: https://www.bloomberg.com/news/articles/2023-07-12/google-s-med-palm-ai-product-for-medical-industry-isn-t-ready-for-patients-yet
