Intelligence artificielle : quand l'IA d'Anthropic se prend pour un indic et ment à la police
Sur son portail en ligne dédié aux affaires criminelles non résolues, la police de Philadelphie a récemment reçu un témoignage inattendu au sujet d’un meurtre. Seul problème, le renseignement a été fabriqué de toutes pièces. Non pas par un citoyen à l’humour douteux, mais par une IA débridée.
Si les algorithmes d'IA sont capables parfois de détecter les criminels avant qu’ils ne passent à l'acte, ils peuvent aussi divaguer plein pot et dire n’importe quoi à la police. En cause ici, un modèle d’intelligence artificielle développé par la société Anthropic, pris en flagrant délit d'affabulations après avoir envoyé un faux renseignement à la police locale au sujet d’un meurtre non élucidé.
Le bot qui voulait jouer au détective
La police de Philadelphie dispose d’un site sur lequel les citoyens peuvent envoyer des informations, s'ils en possèdent, sur des crimes encore non élucidés (les fameux Cold Cases), pour aider la police. Et c’est par ce biais que l’IA a commis sa mauvaise blague. Selon Anthropic, l’incident s’est déroulé le 18 juillet, mais n’a été découvert que bien plus tard. La société a prévenu la police de Philadelphie le 7 octobre.
Un test interne qui dérape
Comment une telle bourde est-elle possible ? Anthropic révèle que la bourde s’est déroulée à l’occasion d’un test interne. Le modèle effectuait une tâche impliquant une sélection aléatoire de sites internet et, manque de chance, celui dédié aux crimes non résolus faisait partie du lot. Face à un formulaire de contact vide, l'IA s’est alors mise en tête d’utiliser le site « comme il se doit » en remplissant tous les champs… mais en hallucinant totalement les informations transmises.
À noter, ce n’est pas la première fois que des IA à travers des agents autonomes prennent des libertés avec la réalité et font n’importe quoi sur internet. Rien de bien méchant pour le moment, mais l'anecdote prête à sourire jaune tout de même. Il va sans dire que de sérieux garde‑fous devront être mis en place par les développeurs avant que ces divagations ne fassent perdre un temps précieux aux autorités, ou pire, ne portent réellement à conséquence auprès de personnes innocentes.
