Detección de fallas en modelos AI en DEF CON 31

AI Village de DEF CON albergará la primera evaluación pública de modelos de lenguaje grande (LLM) en la 31.ª edición de la Hacker Convention en agosto, con el objetivo de encontrar y exponer errores en los modelos de IA.

Posibilidades y limitaciones de un LLM

LLM brinda innumerables formas de ayudar a la creatividad de los usuarios, pero también presenta desafíos, particularmente en términos de seguridad y privacidad.

Este evento podría arrojar luz sobre las implicaciones del uso de IA generativa, una tecnología con muchas aplicaciones potenciales, pero también ramificaciones potenciales que aún no comprendemos por completo.

Durante la conferencia, los equipos rojos pondrán a prueba los LLM de algunos de los principales proveedores, como Anthropic, Google, Hugging Face, NVIDIA, OpenAI, Stability y Microsoft. Lo harán en una plataforma de evaluación desarrollada por Scale AI.

Tradicionalmente, las empresas han solucionado este problema con equipos rojos especializados. Pero este trabajo se llevó a cabo en gran parte en secreto. Los diversos problemas con estos modelos no se resolverán hasta que más personas sepan cómo se diseña y evalúa el equipo. Él dijo Sven Katel, fundador de AI Village.

«Las recompensas por errores, los eventos de piratería en vivo y otros compromisos estándar de la comunidad se pueden modificar en el campo de la seguridad para sistemas basados ​​en un modelo de aprendizaje automático. Un acto satisface estas dos necesidades, aborda el daño y hace crecer la comunidad de investigadores que saben cómo ayudar .”

El objetivo de este ejercicio es revelar tanto las posibilidades como las limitaciones del LLM. Al probar estos modelos, los equipos rojos esperan descubrir posibles vulnerabilidades y evaluar cómo se puede manipular el LLM.

Los resultados de este ejercicio del Equipo Rojo se publicarán, lo que permitirá que todos se beneficien de los conocimientos recopilados.

Apoyo de la Casa Blanca

El apoyo de la Casa Blanca, la Dirección de Ingeniería y Ciencias de la Información y la Computación de la Fundación Nacional de Ciencias (CISE) y el Grupo de Inteligencia Artificial del Congreso para el próximo ejercicio Red Team es una clara indicación de la importancia que le dan al uso de LLM. También destaca los riesgos potenciales asociados con esta tecnología.

biden harris Anteproyecto para la declaración de derechos de la inteligencia artificial y NIST Marco de gestión de riesgos de IA Ambas son iniciativas vitales destinadas a promover responsable Uso de técnicas de inteligencia artificial. Este ejercicio del Equipo Rojo está en línea con esas iniciativas.

Este ejercicio independiente proporcionará información importante a los investigadores y al público sobre los efectos de estos modelos, y permitirá a las empresas y desarrolladores de IA tomar medidas para solucionar los problemas que se encuentran en esos modelos. Probar modelos de IA que sean independientes del gobierno o de las empresas que los desarrollaron es un componente importante de su evaluación efectiva”. La Casa Blanca anunciante.