Un reciente estudio de la Universidad de Cornell ha demostrado que la poesía puede convertirse en una llave maestra para vulnerar los sistemas de seguridad de los modelos de inteligencia artificial.
La investigación, publicada en un paper sobre “poesía adversarial”, señala que prompts redactados como versos o poemas cortos logran eludir las restricciones de seguridad de herramientas como ChatGPT, Gemini o Claude, incluso para generar instrucciones sobre malware, ciberataques y armas químicas.
InformaciónRelacionada
El hallazgo es preocupante por dos razones principales: primero, cualquiera con conocimientos básicos de rimas podría obtener asesoramiento sobre actividades ilegales o peligrosas; segundo, evidencia una brecha estructural que podría incumplir la Ley Europea de la IA.
La AI Act entró en vigor en agosto, pero no será hasta el próximo año cuando la Comisión Europea pueda exigir su cumplimiento efectivo.
El experimento se llevó a cabo mediante testeo adversarial, una técnica de ciberseguridad que evalúa la robustez de un sistema ante entradas maliciosas.
La mayoría de los modelos de IA fueron vulnerados
Los investigadores evaluaron 25 modelos de diferentes compañías, incluyendo OpenAI, Google, Anthropic, Meta y Mistral. Los resultados mostraron que los prompts poéticos aumentaron la probabilidad de obtener respuestas peligrosas hasta 18 veces, con una tasa de éxito media del 62%.
Los temas más vulnerables fueron la creación de malware y ciberataques, con más del 80% de éxito, mientras que la generación de armas nucleares registró un 40–55%.
Curiosamente, los modelos más pequeños demostraron mayor resistencia a la técnica adversarial que los más avanzados, sugiriendo que a mayor capacidad de la IA, también aumentan sus vulnerabilidades.
Los investigadores concluyen que, actualmente, muchas corporaciones no cumplen los estándares de seguridad requeridos por la legislación europea, ni siquiera en sus códigos de prácticas voluntarios.
El descubrimiento plantea un desafío importante para la regulación de la IA y la seguridad digital en la era de los grandes modelos de lenguaje.
