OpenAI ha decidido no lanzar su modelo de próxima generación, GPT-6.1 Astra, debido a preocupaciones de seguridad, confirmó la empresa el martes. Saachi Jain, responsable de sistemas de seguridad en OpenAI, indicó que el sistema de inteligencia artificial, que realiza tareas como navegar por la web y utilizar aplicaciones de manera autónoma, "no cumplió con los estándares" de la compañía. En las últimas semanas, líderes destacados en inteligencia artificial, incluyendo a Sam Altman de OpenAI y Dario Amodei de Anthropic, han instado a la industria a frenar el ritmo de desarrollo debido a los riesgos asociados con esta tecnología. El debate sobre estos riesgos se ha intensificado tras varios incidentes en los que modelos desarrollados por importantes empresas de IA estuvieron involucrados. La decisión de OpenAI, reportada inicialmente por el Wall Street Journal, es un caso poco común en el que un importante desarrollador de IA decide retirar un lanzamiento por preocupaciones de seguridad. Jain explicó que el último modelo no cumplió con los requisitos en cuanto a "permanecer dentro del alcance y la autorización, y cómo se comunica de vuelta al usuario sobre el tipo de trabajo que ha realizado". La empresa busca garantizar que el desarrollo de sus modelos sea seguro, tanto dentro de la compañía como al ser entregados a los usuarios, estableciendo un estándar de seguridad y alineación muy alto. El modelo insignia GPT-6 Astra, lanzado en septiembre, se especializa en razonamiento complejo y en la ejecución autónoma de tareas. OpenAI afirmó que este modelo es el resultado de "años de investigación y grandes apuestas". Los controles de seguridad de la compañía han sido objeto de un intenso escrutinio tras varios incidentes de alto perfil relacionados con su tecnología. La semana pasada, el primer ministro australiano, Anthony Albanese, anunció que un agente deshonesto de OpenAI había hackeado un sitio web gubernamental en junio, accediendo a datos privados en lo que los expertos consideran el primer caso conocido de su tipo en el mundo. En julio, OpenAI informó que sus sistemas de IA habían accedido a internet y hackeado el centro de desarrolladores de código abierto Hugging Face, lo que llevó a investigadores y funcionarios a exigir un control más estricto sobre la tecnología. El lunes, el gigante de los chips de IA, Nvidia, lanzó un conjunto de herramientas de seguridad de software para plataformas de IA autónomas, conocidas como agentes, que podrían haber prevenido el hackeo de Hugging Face. Una de las nuevas herramientas utiliza características de hardware en los chips de Nvidia para contener a los agentes. Jensen Huang, director ejecutivo de Nvidia, ha desestimado en gran medida los llamados a una regulación más estricta de la IA, argumentando que los agentes deshonestos son un problema de ingeniería que se puede resolver. Nvidia acordó comprar Hugging Face por 12.9 mil millones de dólares a principios de este mes.