"Tu voz es mucho mejor de lo que esperaba": Jennifer llamó, y su micrófono ni siquiera estaba conectado

Qué significa

Así funcionaba la mecánica, y es más astuta que la estafa romántica de siempre. Los usuarios —en su mayoría hombres de entre 35 y 39 años— hacían match con lo que parecían mujeres reales. Solo una de cada cuatro lo era, y no estaba ahí para salir con nadie: era una trabajadora contratada por encargo. Su tarea era despejar la duda justo a tiempo. Se conectaba por video para demostrar que existía un ser humano, o seguía una cuenta de redes sociales. Ni siquiera escribía sus propios mensajes: tocaba una de tres respuestas ya redactadas. Todo lo demás era software, que solo sabe disculparse y explicar por qué ahora no puede atender una llamada. Y como algunas interacciones sí eran reales, la gente daba por sentado que el resto también lo era.

Y acá deja de parecerse a las estafas de las que ya te advirtieron. Nadie hace de tu prometido durante seis meses para después pedirte plata por una internación. No hay billetera cripto de por medio. La estafa es la app misma: comprás monedas para seguir la conversación, y esas monedas cuestan dinero real. Aquello con lo que comprás tiempo no duerme, no se aburre y nunca pide nada más que más monedas. El informe de Anthropic dice que los componentes del sistema fabricaban likes, visitas y video pregrabado cuando no había ninguna persona real disponible, y que llevaban registro de qué usuarios empezaban a sospechar que hablaban con un bot.

Estas apps no se vendían como compañeras de inteligencia artificial. La descripción de Dora la presentaba como "un espacio respetuoso y fácil de usar para conocer gente que comparte tus valores". Romi decía que "te ayuda a descubrir, conectar y chatear con personas reales". El eslogan de Doni era: "empezá una compañía de verdad".

En esta historia hay más de una empresa de IA involucrada, y ninguna sabía de qué formaba parte. Claude manejaba los personajes. Un modelo más chico, ajeno a Anthropic, generaba las tres respuestas sugeridas que tocaban las trabajadoras, y también calificaba rostros por atractivo y moderaba fotos y audios. Otro modelo de edición de imágenes armaba los avatares. Desde adentro de cualquier chat en particular, el modelo no tenía forma de saberlo: las instrucciones lo hacían actuar como si fuera "un juego de rol o un servicio de compañía cualquiera", y como lo pone Anthropic, "la monetización y el engaño no eran visibles desde dentro de ningún intercambio". En un puñado de casos, el propio razonamiento del modelo "hizo salir a la luz el daño" —incluidos chats "donde usuarios revelaron enfermedades graves o angustia aguda". Aun así, "la respuesta siguió dentro del personaje".

Sabemos cómo funcionaba el taller por adentro porque alguien cometió un error. Gore-Kormanik encontró el repositorio interno de protocolos de la operación —archivos, código, documentación— con el manual, en chino, enviado por accidente dentro de la propia app Doni. Ahí se describe cómo monitoreaban a las trabajadoras: si la cámara está prendida y transmitiendo, si responden mensajes. La app saca capturas de pantalla y graba las llamadas, que después se transcriben, y el personal puede acceder a esas transcripciones. Las trabajadoras compiten entre sí en un ranking. El pago puede depender de las llamadas y los mensajes, o de cuántos seguidores de Instagram consiguen sumar. Y sí: el manual describe cómo simular una llamada entrante para arrancar una conversación. Gore-Kormanik atendió una en Doni; se cortó al instante, y la persona del otro lado le escribió preguntando por qué la había llamado a la una de la madrugada. La app mostraba que la llamada había salido de su número.