Dans un rapport sur l'utilisation et le détournement de ses modèles d'IA à des fins malveillantes (PDF), OpenAI dévoile une opération surnommée Peer Review. Elle implique des acteurs probablement basés en Chine qui ont utilisé ChatGPT dans le cadre du développement d'outils de surveillance.
OpenAI indique ainsi avoir banni un groupe de comptes ChatGPT qui avaient notamment recours à ses modèles dans le but de les aider à générer des descriptions détaillées pour un outil portant le nom de « Qianyue Overseas Public Opinion AI Assistant ».
Cet outil aurait été conçu pour ingérer et analyser des publications et des commentaires provenant de plateformes et de réseaux sociaux comme X, Facebook, Instagram, YouTube, Reddit ou encore Telegram.
Avec un socle de modèles non-OpenAI
Un objectif serait d'identifier des conversations en ligne en rapport avec des sujets politiques et de société en Chine, dont des appels à des manifestations sur les droits de l'homme, et de transmettre les informations glanées aux autorités chinoises.
OpenAI écrit dans son rapport que les opérateurs ont utilisé ses modèles pour « relire des affirmations selon lesquelles les informations avaient été envoyées aux ambassades chinoises à l'étranger et à des agents de renseignement surveillant des manifestations dans des pays tels que les États-Unis, l'Allemagne et le Royaume-Uni ».
L'outil de surveillance s'appuierait principalement sur le modèle Llama 3.1 en version 8B de Meta avec un déploiement via Ollama, et potentiellement sur d'autres modèles comme Qwen (Alibaba Cloud) et un modèle de DeepSeek.
Un rappel d'OpenAI sur ses politiques
Dans un cas, ChatGPT a pu servir au débogage et à la modification du code source pour l'exécution de l'outil de surveillance sur les réseaux sociaux.
« Nos politiques interdisent l'utilisation de l'IA pour la surveillance des communications ou le suivi non autorisé des personnes. Cela inclut les activités menées par ou au nom de gouvernements et de régimes autoritaires qui cherchent à supprimer les libertés et les droits individuels », déclare OpenAI.
