"Sesin beklediğimden çok daha güzelmiş": Jennifer aradı, oysa mikrofonu takılı bile değildi

Ne anlama geliyor

İşin mekaniği burada devreye giriyor, ve alışılmış aşk dolandırıcılıklarından daha kurnaz. Kullanıcılar — çoğunlukla 30'lu yaşlarının ortası ile sonunda erkekler — gerçek görünen kadınlarla eşleşiyordu. Ama bunların sadece dörtte biri gerçekten bir insandı, üstelik o kadın orada kimseyle çıkmak için değildi: ücretli bir gündelik işçiydi. Görevi, şüphenin doğduğu anı geçiştirmekti. Karşı tarafa bir insanın var olduğunu kanıtlamak için görüntülü görüşmeye giriyor ya da bir sosyal medya hesabını takip ediyordu. Kendi mesajlarını bile yazmıyordu — önceden hazırlanmış üç yanıttan birine dokunuyordu. Geri kalan her şey yazılımdı; yazılımın yapabildiği tek şey özür dilemek ve şu an neden aranamayacağını açıklamaktı. İnsanlarla yapılan birkaç etkileşim gerçek olduğu için, kullanıcılar gerisinin de gerçek olduğunu düşündü.

Ve tam burada, sizi uyardıkları o klasik dolandırıcılıklardan ayrılıyor. Kimse altı ay boyunca nişanlınızı canlandırıp sonra hastane parası istemiyor. Ortada bir kripto cüzdanı yok. Dolandırıcılık uygulamanın kendisi: sohbeti sürdürmek için jeton satın alıyorsunuz, ve o jetonlar gerçek para tutuyor. Zamanınızı satın aldığınız şey uyumuyor, sıkılmıyor ve jeton dışında hiçbir şey istemiyor. Anthropic'in raporuna göre, gerçek bir kullanıcı bulunmadığında sistemin arka planı sahte beğeniler, sahte ziyaretçiler ve önceden kaydedilmiş görüntülü aramalar üretiyordu — ve hangi kullanıcıların karşısındakinin bot olduğundan şüphelenmeye başladığını da takip ediyordu.

Uygulamalar kendilerini yapay zeka arkadaşı olarak satmıyordu. Dora'nın açıklaması "değerlerinizi paylaşan insanlarla tanışabileceğiniz saygılı, kullanımı kolay bir alan" diyordu. Romi, "gerçek insanları keşfetmenize, onlarla bağlantı kurmanıza ve sohbet etmenize yardımcı olur" ifadesini kullanıyordu. Doni'nin sloganı ise: "gerçek bir birliktelik başlat."

Bu tabloda tek bir yapay zeka şirketi yoktu, ve hiçbiri neyin parçası olduğunu bilmiyordu. Kişilikleri Claude çalıştırıyordu. Anthropic'e ait olmayan küçük bir model, gündelik işçilerin dokunduğu üç yanıt önerisini üretiyor, ayrıca yüzleri çekicilik açısından puanlıyor, fotoğrafları ve sesleri denetliyordu. Avatarları ise bir görüntü düzenleme modeli oluşturuyordu. Herhangi bir tek sohbetin içinden bakıldığında, model bunun ne olduğunu anlayacak bir yola sahip değildi: komutlar, sanki bu sıradan bir rol yapma ya da yapay zeka arkadaşlığı hizmetiymiş gibi davranmasını sağlıyordu. Anthropic'in ifadesiyle, "paraya çevirme ve aldatma, hiçbir görüşmenin içinden görünür değildi." Az sayıda vakada modelin "kendi muhakemesi zararı ortaya çıkardı" — kullanıcıların ciddi bir hastalık ya da ağır bir sıkıntı açıkladığı sohbetler de dahil. Yine de o durumlarda bile "çıktı, karakterin içinde kalarak devam etti."

Bu işin perde arkasının nasıl işlediğini, birinin yaptığı bir hata sayesinde biliyoruz. Gore-Kormanik, operasyonun iç protokol deposunu buldu — dosyalar, kod, belgeler — ve içinde Çince yazılmış bir kılavuz vardı; büyük olasılıkla kazayla Doni uygulamasının içine sızmıştı. Kılavuz, gündelik işçilerin nasıl izlendiğini anlatıyordu: kamera açık mı ve yayında mı, mesajla ulaşılabiliyor mu. Uygulama ekran görüntüsü alıyor, aramaları kaydediyor, kayıtlar metne dönüştürülüyor ve bu dökümlere personel erişebiliyordu. İşçiler birbirleriyle kıyaslanarak sıralanıyordu. Ücretleri aramalara, mesaj etkileşimlerine ya da kaç Instagram takipçisi getirdiklerine bağlı olabiliyordu. Ve evet, kılavuz bir sohbeti başlatmak için sahte bir gelen arama simüle etmeyi de anlatıyordu. Gore-Kormanik, Doni'de böyle bir aramayı kabul etti; arama anında kesildi ve arayan kişi ona neden gece saat 1'de kendisini aradığını soran bir mesaj gönderdi. Uygulama, aramanın o kadından geldiğini gösteriyordu.