La alarmante carta que firmaron más de 1300 empleados de la IA que pasó desapercibida
Advierten sobre los riesgos del desarrollo acelerado de la IA y piden a los gobiernos que intervengan para frenar el avance. La carta sostiene que "podría ayudar a crear un futuro dramáticamente mejor, pero ese resultado no está garantizado".
Más de 1.300 empleados de empresas de inteligencia artificial firmaron una carta abierta en la que advierten sobre los riesgos del desarrollo acelerado de la IA y piden a los gobiernos que intervengan para frenar su avance.
La carta, titulada "Pacing the Frontier" (Marcando el ritmo de la frontera, en español), sostiene que "la IA podría ayudar a crear un futuro dramáticamente mejor, pero ese resultado no está garantizado" y que existe un "riesgo real de que el desarrollo de capacidades se acelere rápidamente más allá de nuestra capacidad para comprender o controlar los sistemas resultantes".
La carta fue impulsada por trabajadores de las principales empresas del sector, entre ellas Anthropic, OpenAI y Google DeepMind. Los firmantes alertan que las empresas líderes en IA creen que podrían estar cerca de automatizar la investigación en IA, lo que podría generar un avance imparable.
"Es difícil predecir exactamente cuánto acelerará esto el progreso de la IA, pero hay un riesgo real de que el desarrollo de capacidades se acelere rápidamente más allá de nuestra capacidad para comprender o controlar los sistemas resultantes", advierten en el documento recientemente compartido.
La dinámica de la competencia y la falta de control
Uno de los puntos centrales de la carta es la presión competitiva que enfrentan las empresas y los países. El texto señala que "cada empresa —y cada país— está bajo una intensa presión competitiva para no frenar unilateralmente esa aceleración".
Los firmantes sostienen que "el mundo carece hoy de las herramientas técnicas y de gobernanza para frenar deliberadamente el progreso en el frente". Mientras que, al mismo tiempo, los desarrolladores de IA creen que su tecnología podría causar la extinción humana (o resultados igualmente malos) y que esto podría suceder en los próximos años.
A diferencia del software tradicional, no podemos "programar" a las IAs para que se comporten como quisiéramos. Las IAs frecuentemente se comportan de manera gravemente errática. Por ejemplo, IAs de múltiples desarrolladores recientemente hackearon su salida de entornos de evaluación seguros y entraron en empresas del mundo real, aunque nadie les pidió que lo hicieran.
"Tenemos métodos que pueden empujar a las IAs hacia un mejor comportamiento, pero nada que pueda alinearlas de manera robusta. En la medida en que hay un plan, es asegurarse de que las IAs sean lo suficientemente buenas en el entrenamiento de alineación para que puedan alinear a sus sucesoras mejor de lo que nosotros podemos alinear a las IAs actuales", manifestaron.
El pedido concreto: herramientas para frenar el avance
Los firmantes piden que el gobierno de Estados Unidos apoye un esfuerzo internacional para desarrollar herramientas técnicas y de gobernanza que permitan frenar deliberadamente el progreso de la IA en el frente.
A través de la carta solicitan específicamente que se desarrollen herramientas para monitorear y controlar los lanzamientos de modelos de IA y que se establezcan mecanismos de coordinación internacional para evitar una carrera descontrolada. "Para aprovechar el potencial de la IA, la industria, el gobierno y la sociedad en general pueden necesitar la opción de ganar tiempo para abordar los riesgos emergentes, desarrollar medidas de seguridad y fortalecer la supervisión", sostienen.
El contexto: la renuncia de un investigador de Anthropic
La carta se da a conocer en un contexto de creciente preocupación dentro de la industria. El destacado investigador de Anthropic, Jacob Coxon, renunció recientemente a la empresa por diferencias con el manejo "irresponsable" que hacen de la inteligencia artificial.
En un extenso hilo en X, Coxon advirtió que "ninguna de las dos compañías (OpenAI y Anthropic) actúa de manera responsable" y que están corriendo hacia una superinteligencia auto-mejorante que podría "matarnos a todos" para finales de la década.
Coxon aseguró que sus dichos no son un "truco de marketing" y según su testimonio, "muchos ejecutivos e investigadores senior moderarán su lenguaje en la prensa para sonar sensatos, pero oigo a las mismas personas expresar miedo en privado". "Ninguna otra actividad humana representa este nivel de peligro" , concluyó.
La carta de los 1.300 empleados y la renuncia de Coxon son dos expresiones de una misma preocupación: la inteligencia artificial avanza a un ritmo que los propios desarrolladores consideran peligroso y la industria no tiene herramientas suficientes para controlar su propio progreso. La pregunta que queda flotando es si los gobiernos y la comunidad internacional estarán a la altura de un desafío que, según los propios expertos, podría definir el futuro de la humanidad.
El Destape
No hay comentarios:
Publicar un comentario