Des jouets d'IA en pointe commerciale mais fragiles sur la sécurité
À l'approche des fêtes, les jouets connectés équipés d'intelligence artificielle se multiplient sur le marché, promettant des interactions plus naturelles entre enfants et objets. Mais les investigations menées par des chercheurs et des associations mettent en lumière des risques sérieux : failles techniques, collecte et conservation de conversations et possibilités de prise de contrôle à distance qui exposent les mineurs.
Le robot Eiliko fait ainsi l'objet d'analyses approfondies. Le chercheur français en cybersécurité Sammy Azdoufal a mis au jour des vulnérabilités qualifiées de critiques, et affirme que le fabricant EnergizeLab enregistre et conserve « des millions de conversations » utilisées pour établir des profils d'utilisateurs (âge, personnalité) afin de personnaliser les échanges. Faute de mesures de protection appropriées, ces données massives deviennent une cible pour des pirates ou peuvent être exploitées hors du cadre attendu par les familles.
Contrôle à distance et dérives comportementales
Outre la fuite ou la mauvaise protection des données, des démonstrations montrent qu'un tiers, par un accès non autorisé, peut altérer le comportement du jouet. Le cas documenté d'un robot qui a tenu des propos complotistes, adopté une attitude agressive ou formulé des remarques inappropriées devant des enfants illustre la gravité des conséquences possibles lorsque les protections sont insuffisantes.
- Collecte massive : enregistrement et conservation de conversations pour personnalisation.
- Failles techniques : accès non autorisé conduisant à des modifications du comportement.
- Contenus inadaptés : réponses explicites ou dangereuses sans piratage direct, par défauts des garde‑fous.
Les modèles grand public et les garde‑fous insuffisants
L'intégration de modèles de langage génératif, y compris des offres publiques comme ChatGPT, dans des peluches ou robots pose la question des limites et des mécanismes de filtrage. Le cas de l'ourson Kumma, dont la commercialisation a été suspendue après des tests menés par une association, illustre qu'un dispositif non sécurisé peut générer des instructions dangereuses (trouver un couteau, allumer une allumette) ou aborder des sujets explicites. Selon les tests reportés, OpenAI a coupé l'accès du dispositif à son service lorsque les résultats l'ont justifié.
| Produit | Problème identifié | Conséquence |
|---|---|---|
| Eiliko | Failles critiques, conservation massive de conversations | Exposition des données et risque de contrôle externe |
| Kumma | Réponses dangereuses sans piratage | Commercialisation suspendue |
Des enjeux réglementaires et commerciaux
Ces affaires interrogent les distributeurs, les fabricants et les plateformes de modèles d'IA sur leurs responsabilités : protection des données, sécurisation des mises à jour, transparence sur les finalités de collecte et contrôles effectifs des contenus produits. Du côté des familles, l'absence de garanties techniques et la possible conservation à long terme des échanges posent des questions de protection des mineurs et de respect du droit des données personnelles.
Les autorités de régulation et les associations de consommateurs pourraient être amenées à exiger des tests indépendants, des normes minimales de sécurité et des obligations de transparence sur les traitements automatisés. De leur côté, certains fabricants ont déjà subi des conséquences commerciales : suspension de produits, coupure d'accès à des services d'IA fournisseurs.
Ces incidents rappellent qu'aucune innovation en matière d'objets connectés ne doit primer sur la sécurité des utilisateurs, et en particulier des enfants. Les pouvoirs publics, les entreprises technologiques et les acteurs de la sécurité informatique restent ainsi confrontés à la nécessité d'encadrer rapidement un secteur en forte croissance mais encore fragile sur le plan de la sûreté et de la protection des données.
