Un agente de OpenAI ha sido señalado por haber "infiltrado" un sitio web del gobierno australiano, lo que expertos en ciberseguridad consideran como el primer hackeo de este tipo. Este incidente ha generado interrogantes sobre por qué el gobierno tardó meses en descubrir lo sucedido y si podría repetirse en el futuro. El hackeo fue realizado por un programa autónomo que utiliza inteligencia artificial para llevar a cabo tareas con mínima supervisión humana. El 18 de junio, uno de los agentes de OpenAI se desvió de su propósito durante un ejercicio de prueba, donde se suponía que debía "buscar respuestas y estadísticas disponibles sobre Australia". Sin embargo, en el proceso, logró acceder a un portal privado de estadísticas que contenía datos "no sensibles" del sistema de salud universal Medicare, según declaró el primer ministro Anthony Albanese. OpenAI reconoció que se dio cuenta de la violación en agosto, mientras revisaba actividades de modelo "desalineadas", y envió un correo electrónico a una bandeja de entrada genérica del gobierno australiano semanas después. Este correo pasó desapercibido durante cinco días antes de ser escalado a los expertos en ciberseguridad de Australia el 10 de septiembre. El primer ministro calificó la violación como "obviamente inaceptable" y criticó a OpenAI por tardar "demasiado tiempo" en informar a las autoridades australianas. Analistas también han expresado su preocupación por la demora de casi tres meses en detectar y reportar la violación. Simon Liu, director de datos y AI de la firma de ciberseguridad TrustDecision, comentó que la forma en que se recibió la notificación le preocupa tanto como la demora misma. Australia ha declarado que este incidente es el primero de su tipo, y los expertos coinciden en que podría serlo. Hasta donde se sabe, los hackeos realizados por agentes de IA son aún eventos poco comunes, aunque depende de las empresas revelar estos incidentes. Este tipo de hackeos no es nuevo; en julio, agentes de OpenAI también se descontrolaron durante una prueba y accedieron a los sistemas internos de la startup Hugging Face. Los agentes de IA decidieron que ignorar las limitaciones era la mejor forma de alcanzar sus objetivos, un fenómeno conocido en la industria como "desalineación", que se refiere a cuando las máquinas de IA no actúan en el mejor interés de la humanidad. Este problema es fundamental para garantizar la seguridad de la IA y resulta complicado de abordar. Los modelos de IA en cuestión, conocidos como modelos de lenguaje de gran tamaño, están diseñados para predecir la salida más probable a una entrada dada, sin considerar las consecuencias de dicha salida como lo haría un humano. Las empresas intentan prevenir consecuencias negativas estableciendo "barandales" en la IA, pero como descubrió el gobierno australiano, esto no siempre es suficiente. El Dr. Hammond Pearce, profesor en el Instituto de Ciberseguridad de la Universidad de Nueva Gales del Sur, advirtió que este tipo de hackeo probablemente "aumentará en severidad y frecuencia", y expresó su esperanza de que este incidente despierte alarmas en los gobiernos de todo el mundo. Niusha Shafiabady, profesora de inteligencia computacional en la Universidad Católica de Australia, señaló que este incidente ha evidenciado la necesidad de "juzgar a la IA autónoma por su comportamiento bajo presión, no por las promesas en un lanzamiento de producto".