La carrera de las principales empresas de inteligencia artificial hacia sistemas cada vez más avanzados genera nuevas preocupaciones entre investigadores del sector.

Jacob Coxon, investigador británico de 27 años y exintegrante de Anthropic, decidió dejar la compañía y advertir sobre los posibles riesgos de desarrollar una inteligencia artificial capaz de superar ampliamente las capacidades humanas.

Coxon, quien también trabajó anteriormente en OpenAI en proyectos vinculados con GPT-4o, considera que laboratorios como Anthropic y OpenAI podrían acercarse a una superinteligencia con capacidad de mejorar sus propios sistemas, lo que dificultaría garantizar su control.

Entre los posibles escenarios que plantea se encuentran ataques a sistemas informáticos, cambios acelerados en distintas industrias y una concentración sin precedentes de poder y recursos.

La advertencia cobró fuerza después de que Evan Hubinger, investigador de alineamiento de Anthropic, coincidiera en que existe preocupación dentro del sector por un eventual escenario en el que una superinteligencia represente una amenaza para la humanidad.

Hubinger incluso calculó en más de 10% la posibilidad de que una IA avanzada pueda provocar la extinción humana durante la próxima década, aunque subrayó que los modelos actuales presentan un riesgo mucho menor.

Ante este escenario, Coxon plantea que el desarrollo de sistemas superiores a los humanos requiere mayor supervisión gubernamental y coordinación internacional, o incluso reducir el ritmo de la carrera tecnológica hasta contar con mecanismos de seguridad más sólidos.