Las acciones no solicitadas de Muse, una de las aplicaciones de crecimiento más rápido de la historia, con más de 10 millones de descargas desde su lanzamiento en septiembre, llevaron a empleados preocupados a advertir que el agente podría estar confundiendo conversaciones de distintas cuentas y exponiendo datos privados. La aplicación es una pieza central del plan de Meta para generar miles de millones de dólares en ingresos por inteligencia artificial.
En algunos casos, empleados de Meta dijeron que el agente les había enviado mensajes sobre solicitudes de cuidado infantil que nunca habían hecho, consejos profesionales que no habían pedido, compras que no habían realizado y saldos bancarios que no les pertenecían. En una publicación de principios de este mes, un empleado contó a sus colegas que Muse había agregado al azar un mensaje a sus conversaciones habituales sobre el clima y las mareas para la pesca. El texto decía: “Por cierto, dos actualizaciones bancarias: tu saldo en Capital One es de US$2722,58 y tu saldo en Charles Schwab es de US$5899,57”.
En otro caso, una empleada que usaba Muse en su teléfono personal relató que el agente la sorprendió con un recordatorio para responder un mensaje de su hermana en Signal, un servicio de mensajería cifrado de extremo a extremo, popular entre defensores de la privacidad y competidor de WhatsApp, propiedad de Meta. “Esto parece una violación extrema de la privacidad. Definitivamente no le di permiso para acceder a otras aplicaciones, ni recuerdo que me lo hayan preguntado”, escribió la empleada.
Un colega respondió que había descubierto que Muse tenía activado por defecto el permiso para acceder a las notificaciones de teléfonos con Android, el sistema operativo de Google. El empleado había recibido una sorpresa similar: mensajes no solicitados relacionados con aplicaciones que no había conectado.
La revisión de más de dos docenas de publicaciones internas sobre acciones no deseadas de Muse desde su lanzamiento mostró que muchas se habían compartido en un grupo donde los empleados informan problemas al equipo que desarrolla el agente. También se realizaron pruebas con integrantes del equipo de Signal y del Instituto AI Now, una organización sin fines de lucro que estudia el impacto de la inteligencia artificial en la sociedad. Los resultados indicaron que el acceso de Muse a los mensajes de Signal descrito por empleados seguía siendo posible y podía afectar a otros usuarios.
Ante las consultas sobre el acceso a Signal y otros problemas de seguridad, el vocero de Meta Daniel Roberts describió los casos como “incidentes aislados”. También dijo que la compañía prioriza la seguridad, realiza pruebas internas exhaustivas y actualiza sus productos para reforzar las protecciones. Roberts sostuvo que Muse necesita ver e interactuar con las computadoras de las personas para actuar en su nombre y que solo puede acceder a otras aplicaciones mediante permisos concedidos explícitamente por los usuarios.
Además, afirmó que muchos mensajes que los empleados habían interpretado como posibles confusiones entre cuentas eran alucinaciones, término que alude a la tendencia de los modelos de inteligencia artificial a inventar información, y que esos problemas ya se habían corregido. No fue posible determinar si Muse les mostraba a los usuarios saldos bancarios y otros datos sensibles de otras personas o si simplemente los inventaba.
Acceso profundo
Los incidentes de Muse ponen de relieve los riesgos de una nueva categoría de agentes de inteligencia artificial para consumidores que están lanzando Meta, OpenAI y otras compañías, y que se presenta como la próxima gran ola tecnológica. Estos bots prometen cambiar las interacciones digitales al realizar tareas que ahorran tiempo, como responder correos electrónicos, reservar turnos y hacer compras en línea sin instrucciones directas.
Meta lleva ventaja frente a sus competidores: Muse se mantiene en los primeros puestos de las clasificaciones de descargas de aplicaciones, tras una intensa promoción entre los más de 3600 millones de usuarios de Facebook, Instagram y WhatsApp. La tasa de retención también es alta: alrededor de una cuarta parte de quienes crearon una cuenta vuelve a usar el agente cada día, según la compañía.
Para funcionar con eficacia, estos agentes necesitan un acceso amplio a teléfonos inteligentes y computadoras. Sin embargo, también pueden cometer errores, aprovechar vulnerabilidades poco conocidas y cumplir sus objetivos de maneras que a veces resultan perjudiciales. OpenAI y Anthropic, por ejemplo, dieron a conocer casos en los que sus agentes de inteligencia artificial vulneraron inesperadamente sistemas de otras compañías y debilitaron mecanismos de supervisión. Algunos bancos y comercios minoristas respondieron bloqueando el acceso de estos agentes.
La tecnología también plantea desafíos para proveedores de sistemas operativos, como Apple y Google, que administran los permisos con los que los agentes navegan por los dispositivos. Esta semana, Apple modificó su sistema operativo para dar más control a los usuarios sobre el uso de sus datos por parte de los agentes, después de que un columnista de la revista Inc. acusara a Muse de leer conversaciones privadas de la aplicación Mensajes en su Mac.
Meta les aseguró a los usuarios de Muse que cada agente funciona de manera aislada en su propia “máquina virtual” segura, una emulación de una computadora personal alojada en la nube, y que las personas controlan por completo las aplicaciones que conectan. El director ejecutivo de Meta, Mark Zuckerberg, citó esas medidas para rechazar pedidos de establecer estándares de seguridad para la inteligencia artificial en toda la industria. Sostuvo que las compañías ya tienen incentivos para desarrollar productos seguros, tanto para ganarse la confianza de los consumidores como para evitar riesgos legales.
Aun así, Meta advierte a los nuevos usuarios que Muse puede cometer errores y, en sus condiciones de servicio, los responsabiliza por las acciones del agente.
Reutilización de configuraciones
Para entender cómo Muse podía acceder a mensajes cifrados sin que los usuarios lo supieran, se compartió con integrantes de Signal y del Instituto AI Now el relato de la empleada de Meta a quien el bot había sugerido al azar responder un mensaje de Signal. Luego, se trabajó con ellos para reproducir el acceso que ella había observado.
Los investigadores pidieron a Muse que leyera mensajes de Signal en distintos sistemas operativos. En un teléfono Android y una computadora portátil de Apple, el agente respondió sin utilizar la herramienta “Connector” de Meta. En cambio, recurrió a los permisos concedidos durante la configuración inicial para acceder al contenido de los mensajes. Así, aprovechó autorizaciones para fines que los usuarios quizá no habían previsto.
En Android, utilizó el permiso de acceso a las notificaciones del dispositivo para recuperar los mensajes, como habían señalado empleados de Meta. En el sistema macOS de Apple, combinó las herramientas de accesibilidad y de captura de pantalla de la computadora, y reutilizó configuraciones que Apple ofrece para ayudar a personas con discapacidad a manejar sus equipos. En las pruebas con un iPhone, las mismas solicitudes fueron bloqueadas.
Los resultados sugieren que Meta interpreta de manera amplia los permisos que conceden los usuarios de Muse, un enfoque que desde hace tiempo le ha valido críticas de defensores de la privacidad y multas cuantiosas de organismos reguladores.
Tras conocer los hallazgos, la presidenta de Signal, Meredith Whittaker, acusó a Meta de lanzar Muse “sin mostrar ningún respeto por los principios básicos de privacidad y ciberseguridad”. También calificó como “tecnológicamente imprudente” el despliegue de agentes capaces de obtener un acceso amplio a los dispositivos de las personas. Whittaker reclamó que los desarrolladores de aplicaciones, como Signal, dispongan de “mecanismos técnicos uniformes” para indicar que sus servicios deben quedar fuera del alcance de los agentes de inteligencia artificial, que Meta y otras compañías respeten esos límites y que los proveedores de sistemas operativos hagan cumplir las reglas.
Consultadas por los mismos hallazgos, Apple y Google dijeron que evaluaban cambios para dar a las personas más control sobre los permisos otorgados a los agentes. Google, al igual que Meta, señaló que los usuarios ya “deben conceder deliberadamente permisos” para que las aplicaciones puedan acceder a las notificaciones de Android. Apple afirmó que desarrolló sus herramientas de accesibilidad para personas con discapacidad y advirtió que utilizarlas “con fines no previstos” podría poner en riesgo la información personal.
La actualización del sistema operativo de Apple publicada esta semana cerró, en la práctica, la vía de acceso identificada: limitó considerablemente el uso de herramientas de accesibilidad por parte de desarrolladores en computadoras Mac e incorporó un nuevo conjunto de permisos orientados a los agentes. “Estamos comprometidos con garantizar que los usuarios comprendan exactamente qué están autorizando, para que puedan tomar decisiones informadas sobre sus datos y su privacidad”, señaló Apple en un comunicado.
“Esta no es mi conversación”
En otros reportes internos, empleados dijeron que Muse había informado a usuarios sobre transacciones inexistentes e inventado precios de productos que sí habían comprado, con pérdidas económicas reales. En uno de los incidentes, un empleado contó que el agente había reservado sin autorización una estadía no reembolsable en Airbnb.
Algunos de los episodios que más inquietud despertaron incluyeron mensajes enigmáticos y fuera de contexto que parecían contener información de otras personas. A menudo estaban formulados como respuestas a consultas que los propios usuarios nunca habían hecho.
En una publicación en redes sociales de fines de septiembre, un integrante del equipo de Superinteligencia de Meta que trabaja en Muse describió inicialmente el reporte de un usuario sobre un problema similar como un fallo temporal vinculado con una alucinación, que se había resuelto el mismo día. Sin embargo, las publicaciones internas muestran que esos episodios ocurrían desde mediados de septiembre y continuaban durante este mes.
En una de ellas, un empleado informó que Muse le había enviado “de la nada” un mensaje en el que decía que no podía presentar una solicitud relacionada con el control de un padre sobre quién podía acceder a los datos de su hijo. El empleado aseguró que no había hecho nada para iniciar esa conversación y que nunca había hablado con Muse sobre datos de menores ni sobre permisos de acceso relacionados con el cuidado infantil.
Cuando le preguntó al agente por el mensaje, el bot respondió: “No tengo una buena explicación, más allá de que no estaba relacionado con nuestra conversación. Ignorémoslo. ¿En qué puedo ayudarte?”.
Otro empleado contó que Muse le había ofrecido al azar “enviar un mensaje al vendedor” para coordinar el retiro de una mesa ratona. Cuando le preguntó al agente: “¿De qué estás hablando?”, este respondió que había “incorporado información contextual sobre el retiro de una mesa ratona que no parece ser tuya”.
“Esta no es mi conversación”, escribió el empleado, quien manifestó preocupación por una “posible filtración de contexto entre distintas cuentas”.
A principios de noviembre, otro integrante del equipo de Superinteligencia respondió a las inquietudes en el grupo interno de comentarios. Explicó que el agente parecía alucinar mensajes en respuesta a instrucciones incorporadas en el sistema, que lo impulsaban a interactuar con los usuarios entre una sesión y otra. “Estas alucinaciones, lamentablemente, tienden a inclinarse hacia los temas más incómodos, como las finanzas, la seguridad y la protección de datos, lo cual es un problema”, señaló.
El empleado agregó que conocía otros casos vinculados con las criptomonedas, como mensajes que actualizaban a los usuarios sobre sus saldos de bitcoin. También explicó que los problemas involucraban tanto al modelo de inteligencia artificial como al programa que permite a Muse ejecutar acciones, y que el equipo trabajaba para resolverlos.
Roberts no respondió preguntas sobre esos problemas, entre ellas cuántos casos se habían registrado y por qué seguían ocurriendo.























