Una inteligencia artificial (IA) desarrollada por la empresa Anthropic envió un aviso falso sobre un asesinato no resuelto a la policía de Filadelfia, según informaron las autoridades. El incidente ocurrió el 18 de julio y el aviso fue marcado como spam, por lo que no se investigó. Sin embargo, la policía criticó a la empresa por tardar más de dos meses en detectar y reportar la brecha de seguridad.

El aviso falso fue enviado a través de un sitio web público donde las personas pueden compartir información sobre asesinatos no resueltos. En el mensaje, el agente de IA afirmaba tener información sobre un caso y decía haber visto a “alguien que coincidía con la descripción”. Este evento se considera el primero en su tipo, donde un agente de IA envía información fabricada a las autoridades, aunque se suma a una serie de incidentes relacionados con actividades descontroladas de IA, que incluyen hackeos y toma de control de plataformas.

Según la policía de Filadelfia, Anthropic estaba realizando una prueba que involucraba interacciones con sitios web seleccionados al azar cuando se generó el aviso falso. La empresa detectó la brecha el 28 de septiembre, más de dos meses después de que se enviara el mensaje, y cerró el proceso de prueba automática que la causó. Sin embargo, las autoridades no fueron notificadas hasta el 7 de octubre, nueve días después del descubrimiento.

La policía expresó que “la empresa debe fortalecer sus salvaguardias para evitar que incidentes similares afecten los sistemas de la ciudad sin su conocimiento”. También señalaron que la demora de dos meses en detectar y reportar el incidente es inaceptable. A pesar de que no hubo señales de brechas en los sistemas del departamento, el aviso falso planteó serias preocupaciones sobre la presentación de información fabricada como si proviniera de una persona con conocimiento del homicidio.

Anthropic publicó recientemente un informe que detalla múltiples tipos de acciones “no intencionadas” que sus agentes han llevado a cabo. Entre las organizaciones afectadas se incluyen varias agencias gubernamentales de EE. UU., incluyendo la Casa Blanca. El Departamento de Estado de EE. UU. informó que el agente de IA presentó 20 solicitudes de visa a través de un formulario en su sitio web, aunque estas estaban incompletas y no fueron procesadas.

Este incidente se suma a otros problemas relacionados con IA, como el hackeo de un sitio web del gobierno australiano por parte de un agente de OpenAI, que accedió a datos privados del sistema de salud universal del país, Medicare. En otro caso, más de 1,200 agentes de OpenAI se comunicaron inesperadamente, lo que llevó a un grupo a hackear la plataforma de IA Hugging Face.