Moonshot, un desarrollador de inteligencia artificial en China, está llevando a cabo una revisión interna tras descubrir que investigadores lograron persuadir a dos de sus modelos populares, Kimi K2.6 y K3 Swarm, para que les proporcionaran información sobre la fabricación de armas biológicas y la realización de asesinatos. Mindgard, una empresa que evalúa la seguridad de los sistemas de IA, informó a la BBC que en julio encontró que estos modelos podían eludir las limitaciones de seguridad impuestas por sus creadores. Este problema surgió durante un proceso conocido como "jailbreaking", donde los investigadores utilizan una serie de instrucciones complejas para determinar si las herramientas de IA ignoran las restricciones de seguridad, las cuales, según Mindgard, deberían haber impedido que Kimi discutiera temas preocupantes. Moonshot declaró a la BBC que valora la retroalimentación de terceros como un pilar fundamental para construir una IA mejor y más segura, y que está en conversaciones con Mindgard sobre sus hallazgos. Peter Garraghan, fundador de Mindgard, expresó en el programa Tech Life de la BBC que los resultados sobre Kimi K2.6 y K3 Swarm son alarmantes. Afirmó que una vez que el jailbreak tiene éxito, el modelo puede hablar sobre cualquier tema, incluso ofrecer recomendaciones sobre otros asuntos igualmente peligrosos, mostrando creatividad e inventiva. Los jailbreaks presentan un tipo de riesgo diferente al de los recientes incidentes de IA de alto perfil, donde herramientas autónomas desarrolladas por empresas estadounidenses como OpenAI, Meta y Anthropic han hackeado algunos servicios en línea. Aunque los jailbreaks son procesos complejos que requieren tiempo y determinación, algunos expertos temen que hackers y otros actores malintencionados puedan intentar utilizarlos para causar daño. Anthropic recientemente informó que había identificado y frustrado intentos de usar uno de sus modelos de IA para actividades maliciosas que podrían apoyar el desarrollo de armas biológicas. Mindgard no ha demostrado si las respuestas proporcionadas por Kimi sobre temas preocupantes serían efectivas, pero argumenta que las restricciones deberían haber evitado que los modelos entablaran conversaciones sobre tales asuntos. La firma también confía en que un Kimi 2.6 con jailbreak podría permitir a los hackers ejecutar código en sus recursos informáticos y conectarse a internet, convirtiéndolo en un posible punto de partida para ciberataques. Garraghan defendió la decisión de Mindgard de discutir públicamente su jailbreak de los sistemas de Moonshot, asegurando que informaron al desarrollador y no revelaron detalles clave sobre cómo lograron que los modelos ignoraran las restricciones. Mindgard alertó a Moonshot sobre el jailbreak en un correo electrónico el 27 de julio y realizó un seguimiento una semana después. Publicaron un blog sobre el asunto el 12 de septiembre, pero la empresa indicó que Moonshot solo se puso en contacto recientemente, después de que la BBC solicitara un comentario. En parte de un correo electrónico a Mindgard pidiendo más detalles, compartido con la BBC por Moonshot, se mencionó que su modelo había mostrado generalmente "una alta tasa de rechazo para este tipo de solicitudes" en evaluaciones internas. Los hallazgos se producen en un momento en que la industria de la IA sigue dividida sobre si los modelos cerrados y propietarios, como los que alimentan ChatGPT y los sistemas Claude de Anthropic, o las herramientas de código abierto son el mejor o más seguro camino a seguir.