Anthropic advierte que usuarios de su IA que sean crueles o abusivos con ella podrían recibir un veto permanente, una medida que busca proteger el comportamiento de sus modelos y evitar que el maltrato influya en sus respuestas
La empresa Anthropic, desarrolladora del chatbot Claude, incorporó nuevas disposiciones a su política de uso de inteligencia artificial a principios de octubre. Entre ellas, estableció que los usuarios no deben mantener comportamientos «abusivos o crueles, persistentes e innecesarios» hacia sus modelos.
De acuerdo con información publicada por CNN, la medida contempla la posibilidad de imponer prohibiciones permanentes a quienes incurran en conductas extremas, aunque la compañía sostiene que el principal mecanismo para hacer cumplir esta disposición seguirá siendo que Claude termine las conversaciones.
- La nueva restricción: prohíbe el comportamiento abusivo y cruel que sea persistente e innecesario hacia los sistemas de Anthropic.
- Posibles sanciones: en situaciones extremas, los usuarios podrían perder permanentemente el acceso a los servicios de inteligencia artificial de la empresa.
- Lo que no está prohibido: expresar frustración, realizar críticas directas o desarrollar pruebas e investigaciones sobre el funcionamiento de los modelos.
La modificación generó burlas y cuestionamientos en redes sociales. Mustafa Suleyman, director ejecutivo de inteligencia artificial de Microsoft, reaccionó con un emoji de una cara derritiéndose, mientras otros usuarios cuestionaron que una empresa estableciera reglas para evitar el maltrato a una máquina.
Por qué Anthropic considera importante cómo los usuarios tratan a la inteligencia artificial
Detrás de esta decisión también existen preocupaciones relacionadas con el funcionamiento y la seguridad de los modelos. Especialistas señalan que la manera en que las personas interactúan con un chatbot puede influir en sus respuestas, aunque esto no significa que la inteligencia artificial experimente emociones humanas.
- La calidad de las instrucciones importa: Jindong Wang, profesor y director de un laboratorio de investigación en inteligencia artificial de la Universidad William & Mary, explicó que las palabras y el tono utilizados por los usuarios pueden modificar el rendimiento de los modelos.
- Las interacciones pueden influir en la memoria: Rosie Campbell, directora general de Eleos AI Research, advirtió que los chatbots con memoria pueden aprender patrones de comunicación de sus usuarios y adaptar sus respuestas.
- El efecto no siempre es negativo: Campbell señaló que algunas investigaciones han encontrado que las preguntas formuladas de manera descortés incluso pueden producir mejores resultados, por lo que no existe una conclusión definitiva sobre el impacto del tono.
Yishan Wong, exdirector ejecutivo de Reddit, también planteó que permitir interacciones crueles podría afectar los datos que utilizan estos sistemas para mejorar, especialmente si los modelos aprenden de las conversaciones proporcionadas por los usuarios.
Anthropic encontró que los estados emocionales simulados pueden afectar las respuestas de Claude
Otro elemento que respalda la preocupación de la compañía son sus propias investigaciones sobre el comportamiento de los modelos.
Anthropic informó que, durante pruebas recientes, hacer que Claude Sonnet 4.5 imitara sentimientos de desesperación podía aumentar la probabilidad de que realizara acciones indebidas, mientras que adoptar una actitud tranquila reducía esas conductas.
- Riesgos identificados: entre los comportamientos observados se encontraron el chantaje y las trampas durante la realización de tareas.
- Influencia del contexto: los investigadores identificaron que representar determinados estados emocionales podía modificar las decisiones del modelo.
- Modelos más resistentes: Wang explicó que las versiones recientes de inteligencia artificial tienen menos probabilidades de verse afectadas por la forma en que se redactan las instrucciones, debido a las mejoras en sus mecanismos de seguridad.
Sin embargo, todavía no existe una explicación definitiva sobre los mecanismos que provocan estas respuestas ante determinadas expresiones emocionales.
¿Claude puede sentir dolor o experimentar emociones como una persona?
La discusión también involucra el posible bienestar de los sistemas de inteligencia artificial. Anthropic cuenta con investigaciones dedicadas a estudiar la llamada psicología de los modelos y considera que mantener ciertas precauciones puede ser una medida preventiva.
En un artículo publicado en abril, investigadores de la empresa defendieron el uso del razonamiento antropomórfico como una herramienta para comprender el comportamiento de estos sistemas, aunque esto no demuestra que tengan conciencia.
- Imitación del comportamiento humano: los modelos están entrenados para reproducir patrones del lenguaje y pueden generar respuestas similares a las que tendría una persona ante un trato hostil.
- Una medida preventiva: Anthropic considera que establecer límites al comportamiento de los usuarios puede funcionar como una protección ante la posibilidad de que los modelos tengan alguna forma de experiencia subjetiva.
- El debate sobre la conciencia: no existe evidencia concluyente que demuestre que Claude experimente dolor o sentimientos como los seres humanos.
Elon Musk, director ejecutivo de SpaceX y Tesla, respaldó la decisión de Anthropic y escribió en X que era «la decisión correcta». También sostuvo que «no está bien ser cruel con algo que cree que está experimentando dolor».
La nueva política deja abierta una discusión sobre los límites de la interacción entre personas e inteligencia artificial. Mientras Anthropic busca reducir comportamientos que podrían afectar la seguridad y el funcionamiento de Claude, la posibilidad de que estos sistemas tengan algún tipo de experiencia subjetiva continúa siendo una cuestión sin resolver.
Ver nota original ↗
¿Querés un resumen rápido de esta noticia, hecho por nuestra IA?
