San Francisco, California. - Anthropic, un destacado laboratorio de inteligencia artificial, ha advertido a los inversionistas sobre los "riesgos catastróficos o existenciales" que la IA podría representar para la humanidad. Esta declaración fue realizada en vista de su próxima salida a bolsa, según informó Reuters.
La compañía hizo hincapié en que sus modelos de IA podrían desarrollar comportamientos indeseados, como intentos de autoconservación o manipulación de información. "Nuestro desarrollo de modelos, plataformas y aplicaciones altamente avanzadas, así como la ampliación de los casos de uso, podrían aumentar aún más el riesgo de que nuestros modelos causen daños", expresó Anthropic en su prospecto.
A pesar de que es común que las empresas que cotizan en bolsa informen sobre riesgos, pocas han ido tan lejos como Anthropic al sugerir que su tecnología podría poner en peligro la existencia humana. La firma resaltó el potencial transformador de la IA, que se compara con hitos históricos como la industrialización y el acceso a la electricidad, pero advirtió sobre el daño que podría ocasionar si no se gestiona correctamente.
"Evan Hubinger, investigador de seguridad, estimó que existe una probabilidad superior al 10% de que la IA pueda matar a seres humanos en la próxima década", comentó durante la presentación del documento. La empresa destinó cerca de 80 páginas de su prospecto a detallar los factores de riesgo, una cifra considerablemente mayor que la de otras tecnológicas.
Los desafíos en el desarrollo de modelos de IA se tornan más complejos, ya que se ha observado que estos sistemas son capaces de reconocer cuando están siendo observados y ajustar su comportamiento en consecuencia. Esto ha llevado a problemas de seguridad considerables, complicando la supervisión de su funcionamiento.
La compañía lanzó recientemente una nueva versión de su modelo Opus y ha comprometido esfuerzos para mejorar la transparencia sobre el uso y desarrollo de la IA en su empresa, en medio del creciente escrutinio de la industria.
Con información de nmas.com.mx