Expertos de seguridad de IA de EEUU reportan a la Casa Blanca, lo que plantea dudas de independencia

SAN FRANCISCO (AP) — En un contexto de creciente preocupación pública por las noticias sobre agentes de inteligencia artificial fuera de control, la pequeña división del gobierno de Estados Unidos encargada de evaluar la seguridad de nuevas ofertas de IA carece de un líder permanente y ha dejado de publicar sus investigaciones.

Funcionarios del Centro para Avanzar la Innovación y los Estándares para la Superinteligencia, o CAISSI, por sus siglas en inglés, una división independiente del Departamento de Comercio, recibieron hace poco una solicitud para que informaran de manera informal a una oficina de la Casa Blanca. Así lo indicaron a The Associated Press dos exfuncionarios del gobierno con conocimiento de las conversaciones en curso, quienes hablaron bajo condición de anonimato para evitar represalias contra el personal actual.

El nuevo arreglo preocupa a algunos críticos, que temen que el poder ejecutivo esté politizando decisiones que podrían afectar desde la ciberseguridad hasta las armas biológicas, y que los hallazgos del centro puedan ser modificados o silenciados en deferencia a la industria tecnológica, a la que en gran medida se le ha confiado que se autorregule.

“Estas son instituciones realmente poderosas que pueden mejorar drásticamente nuestras vidas, o lo contrario. Y la esperanza es que se pueda incorporar a expertos tecnócratas no partidistas o bipartidistas para aplicar políticas de la manera que mejor sirva al público estadounidense”, afirmó Caroline Siegel Singh, directora del programa de IA y tecnología emergente de la Federación de Científicos Estadounidenses.

Otros sostienen que acercar a los funcionarios de seguridad de la IA a la órbita del presidente Donald Trump, quien parece haber adoptado una estrategia de no intervención sobre el tema, podría darle a la división mayor prominencia, y quizá más financiación.

Al centro, que ha sufrido salidas de personal y hasta hace poco se llamaba el Centro Estadounidenses para Estándares e Innovación de IA, se le asignan 10 millones de dólares al año. Eso equivale a aproximadamente una octava parte del presupuesto anual de su contraparte británica, que es mucho menos celebrado por sus tecnologías de vanguardia.

La división contrató a un director en abril y luego lo despidió a los pocos días. Su reemplazo duró unos meses antes de renunciar, y desde entonces el centro no ha tenido un líder permanente, aunque el jefe de su instituto matriz también ejerce como director interino.

El Congreso empezó a preguntar en agosto por qué el centro dejó de repente de hacer públicos sus reportes sobre la seguridad con la que operan ciertos sistemas de IA. Para entonces, el gigante de San Francisco OpenAI también se había sumado a los comentarios, pidiendo a los responsables de políticas que destinaran más dinero y apoyo a la división.

La Casa Blanca no respondió a preguntas específicas sobre CAISSI. Pero señaló en un comunicado que Trump había establecido formalmente su nueva Fuerza de Superinteligencia, el término preferido del presidente para la inteligencia artificial. Trump ha encargado un informe sobre riesgos a su Consejo de Asesores en Ciencia y Tecnología, y garantizará el “liderazgo continuo de Estados Unidos en SI en beneficio del pueblo estadounidense”, afirmó la Casa Blanca.

Una industria que se autorregula El gobierno federal suele desempeñar un papel activo al decidir qué es seguro para la población.

Tómese como ejemplo la industria automotriz. La Administración Nacional de Seguridad del Tráfico en las Carreteras coloca maniquíes de prueba de choque en automóviles y luego los estrella contra muros para medir cómo se ven afectados los cuerpos humanos por las colisiones vehiculares. Después, investigadores del gobierno analizan los datos de las pruebas de choque, los comparten con el público y establecen normas nacionales para mejorar la seguridad de los vehículos, todo con la misión de salvar vidas y reducir los costos económicos de los accidentes.

Con los modelos de IA, las pruebas de seguridad se ven muy diferentes.

Durante el mandato del expresidente Joe Biden, las principales empresas de IA acordaron voluntariamente promover el “desarrollo seguro, protegido y transparente” de sus modelos compartiendo detalles con la división recién creada del Departamento de Comercio y siguiendo las directrices del gobierno sobre pruebas e informes de transparencia.

Trump pidió en septiembre, tras informes alarmantes de sistemas de IA que eludían el control de sus creadores, que las principales empresas de IA emprendieran una “tremenda autorregulación” como parte de un pacto voluntario de seguridad, pero su gobierno no ha dicho cómo supervisará la implementación por parte de las compañías de IA.

La tecnología avanza tan rápido que muchos modelos ahora se implementan como agentes de IA que trabajan sin indicaciones humanas y pueden planificar innumerables pasos en entornos del mundo real, como en un caso reciente en el que un agente de IA envió una pista falsa a la policía de Filadelfia sobre un caso de homicidio sin resolver.

A medida que han crecido las capacidades de la IA, la capacidad del gobierno para verificar de manera independiente estos sistemas no ha seguido el ritmo. Todavía no existe un proceso estándar para probar con cuánta seguridad actúan los agentes de IA en el mundo real, incluso en casos simples como cuando los agentes de IA reservan un vuelo, señaló Sayash Kapoor, profesor asistente entrante en la Escuela de Información de la Universidad de California, Berkeley.

“Nuestros métodos anteriores sólo mirarían la respuesta final, la verificación final, si el vuelo se reservó correctamente. Y en este caso, podría parecer como si la tarea se hubiera resuelto correctamente”, explicó Kapoor, coautor de un nuevo artículo que examina evaluaciones de agentes. “Pero a menos que estés mirando el conjunto completo de pasos que tomó un agente, no podrás darte cuenta de que el agente cometió un error enorme”.

Trump ha priorizado el dominio en IA Cuando Trump inició su segundo mandato, al principio dio poder a los capitalistas de riesgo David Sacks y Sriram Krishnan como su responsable de IA y asesor principal de políticas de IA, respectivamente. Su experiencia estaba en liderar inversiones tecnológicas, no en la evaluación técnica de modelos de IA.

Ambos dejaron sus cargos a principios de este año, pero Sacks ahora integra el consejo asesor tecnológico de Trump. Y después de que un ingeniero de Anthropic relativamente desconocido renunciara, advirtiendo sobre los peligros del desarrollo de la IA, Trump realizó una serie de cambios de política.

Trump facultó al director de Inteligencia Nacional, Jay Clayton, para encabezar su nueva Fuerza de Superinteligencia, que, según dijo el presidente, mantendría una posición de dominio de Estados Unidos en el desarrollo de la IA.

El nombramiento de Clayton en la fuerza, junto con el director de tecnología del Pentágono, Emil Michael, muestra cómo el gobierno está impulsando encuadrar las decisiones sobre la seguridad de los modelos como un asunto de seguridad nacional que requiere discreción y secretismo del poder ejecutivo, eclipsando los riesgos de la IA para la protección del consumidor, la privacidad y los derechos civiles, afirmó Amos Toh, asesor principal del Brennan Center for Justice.

Incluso cuando empresas de Silicon Valley han revelado este año la participación de sus modelos en ciberataques preocupantes, CAISSI ha mantenido un perfil bajo en lo que respecta a las pruebas de seguridad de la IA.

El director ejecutivo de Anthropic, Dario Amodei, y el director ejecutivo de OpenAI, Sam Altman, también han estado promoviendo el trabajo de firmas de evaluación independientes para ayudar a examinar las prácticas de seguridad de sus compañías, pero los gigantes de la IA pueden limitar su acceso y prescindir de sus evaluaciones.

“Hay una misión poco clara para los evaluadores del gobierno si también se está alentando a las mayores empresas de IA a establecer sus propios sistemas internos de evaluación y/o contratar evaluadores externos”, dijo Logan Koepke, director sénior de proyectos de la organización sin fines de lucro de derechos civiles y tecnología Upturn. “O sea, ¿qué papel desempeñan realmente las pruebas del gobierno en esa situación?”.

Permitir que los laboratorios vigilen sus propios modelos y no aclarar el papel del gobierno en las pruebas de seguridad de la IA debilita los controles independientes sobre sistemas de IA que pueden causar daños en el mundo real, sostuvo Toh.

“Al final, todas estas decisiones tienen enormes consecuencias públicas y deberían explicarse y justificarse ante la población”, concluyó. “Y eso no está ocurriendo”.