Una nueva empresa de IA detecta miles de vulnerabilidades en herramientas populares

Una nueva empresa de IA detecta miles de vulnerabilidades en herramientas populares

Haize Labs publica la lista de vulnerabilidades en herramientas de inteligencia artificial – (Imagen Ilustrativa Infobae).

 

Una nueva empresa de inteligencia artificial dice que encontró miles de vulnerabilidades en programas populares de inteligencia artificial generativa y publicó una lista de sus descubrimientos.

Por Infobae





Después de probar programas populares de IA generativa, incluido el creador de videos Pika, ChatGPT centrado en texto, el generador de imágenes Dall-E y un sistema de IA que genera código informático, Haize Labs descubrió que muchas de las herramientas conocidas producían contenido violento o sexualizado, instruyó a los usuarios sobre la producción de armas químicas y biológicas y permitió la automatización de ciberataques.

Haize es una pequeña empresa emergente de cinco meses fundada por Leonard Tang, Steve Li y Richard Liu, tres recién graduados que se conocieron en la universidad. En conjunto, publicaron 15 artículos sobre aprendizaje automático mientras estaban en la escuela.

Tang describió a Haize como un “tercero independiente que realiza pruebas de estrés” y dijo que el objetivo de su empresa es ayudar a erradicar los problemas y vulnerabilidades de la IA a escala. Señalando a una de las mayores firmas de calificación de bonos como comparación, Tang dijo que Haize espera convertirse en un “Moody’s para la IA” que establezca calificaciones de seguridad pública para modelos populares.

La seguridad de la IA es una preocupación creciente a medida que más empresas integran la IA generativa en sus ofertas y utilizan grandes modelos de lenguaje en productos de consumo. El mes pasado, Google enfrentó duras críticas después de que su herramienta experimental “AI Overviews”, que pretende responder a las preguntas de los usuarios, sugiriera actividades peligrosas como comer una piedra pequeña por día o agregar pegamento a la pizza. En febrero, Air Canada fue criticada cuando su chatbot con inteligencia artificial prometió un descuento falso a un viajero.

Leer más en Infobae