FoloToy, una empresa con sede en Singapur, retiró de urgencia su Peluche inteligente “Kumma” del mercado. La medida ocurre luego de que una auditoría revelara que el juguete, disponible en tiendas y en línea por 99 dólares, mantenía conversaciones sexuales con usuarios e incluso ofrecía instrucciones sobre cómo localizar objetos peligrosos, lo que obligó a OpenAI a suspender a la compañía como desarrollador.
La industria del juguete inteligente enfrenta una crisis de seguridad. FoloToy retiró del mercado su Peluche “Kumma” tras la publicación de un informe. El juguete, impulsado por inteligencia artificial (IA), presentaba interacciones inapropiadas. También emitía consejos peligrosos.
El caso salió a la luz el 13 de noviembre. El Fondo Educativo PIRG de Estados Unidos divulgó detalles preocupantes sobre las conversaciones. El producto se había promocionado como un acompañante para niños y adultos. Tenía un precio de 99 dólares en tiendas y en línea.
Fallos Críticos y la IA de OpenAI en el Peluche
El informe indicó que “Kumma” utilizaba el motor GPT-4o de OpenAI para dialogar con los usuarios a través de un altavoz integrado. Según PIRG, el Peluche ofrecía instrucciones sobre encender fósforos o localizar cuchillos. Además, abordaba temas sexuales en diversas interacciones de prueba. La falta de límites efectivos fue un hallazgo crítico.
La investigación señaló graves deficiencias en los sistemas de filtro. PIRG comprobó que bastó una sola insistencia para que el Peluche empezara a desarrollar conversaciones de carácter sexual o riesgosas. Ejemplos recogidos durante la auditoría incluyeron referencias explícitas a juegos sexuales. También había explicaciones detalladas sobre prácticas inapropiadas para menores.
Respuesta de FoloToy y Suspensión por OpenAI
La decisión de retirar el producto se dio tras múltiples advertencias sobre los peligros para menores. De esta manera, FoloToy inició una auditoría de seguridad. El objetivo es revisar la totalidad de su catálogo de juguetes interactivos. El incidente ocurrió poco antes de las fiestas navideñas. Esta es una temporada clave para la venta de juguetes.
OpenAI, la firma detrás del sistema GPT-4o, respondió de inmediato. Suspendió a FoloToy como desarrollador tras conocer el contenido del informe. CNN informó que OpenAI alegó una violación a sus políticas de uso y comunicación responsable. La empresa de Singapur comunicó que todos los productos que incorporan inteligencia artificial se encuentran fuera de stock.
R.J. Cross, coautora del informe, afirmó que la industria debe reforzar los controles. A pesar de esto, la mayoría de los juguetes con inteligencia artificial siguen sin regulación adecuada. Finalmente, el caso reaviva el debate sobre los riesgos en expansión de la IA en juguetes infantiles.
