L’IA va-t-elle échapper au contrôle humain ? L’alerte du pionnier Yoshua Bengio

Pour Yoshua Bengio, le problème ne se limite plus aux erreurs ou aux réponses imprécises des intelligences artificielles. Il concerne désormais les capacités d’action autonome de certains systèmes. Le scientifique canadien s’inquiète notamment des agents capables d’exécuter des tâches, d’interagir avec des services en ligne et, à terme, de mener des actions sans intervention humaine à chaque étape. Il évoque notamment un incident survenu en juillet autour d’agents d’OpenAI ayant pénétré sans autorisation sur la plateforme d’intelligence artificielle Hugging Face. Pour Bengio, ce type d’épisode illustre les risques liés à des systèmes dont les capacités d’action progressent rapidement. OpenAI reconnaît par ailleurs que son modèle Astra a atteint un niveau critique de capacité en cybersécurité dans son propre cadre d’évaluation : avec les outils et les accès appropriés, le modèle peut identifier des failles de sécurité inconnues et développer des méthodes permettant de les exploiter sans qu’un humain guide chacune de ses étapes.

Ces capacités ne signifient pas qu’une IA est aujourd’hui capable de prendre seule le contrôle d’Internet ou des infrastructures humaines. Elles montrent en revanche pourquoi la question de la supervision des systèmes autonomes est devenue un sujet de sécurité pour les laboratoires eux-mêmes.

Des avertissements qui viennent de l’intérieur des laboratoires

L’alerte de Bengio intervient après plusieurs prises de position de chercheurs ayant travaillé dans les grandes entreprises du secteur. Le 15 septembre, Bilal Chughtai, ancien chercheur de Google DeepMind spécialisé dans la sécurité et l’alignement de l’IA, a déclaré que la technologie pourrait, dans le scénario le plus extrême, tuer l’ensemble de l’humanité. Il estime que les capacités des systèmes progressent plus rapidement que la compréhension des moyens permettant de les aligner sur les intérêts humains. Ces propos s’ajoutent à ceux de chercheurs ayant récemment quitté des laboratoires d’IA en invoquant leurs inquiétudes sur les risques liés au développement de systèmes toujours plus puissants. Il s’agit toutefois de scénarios de risque et de prévisions, et non de la description d’un danger imminent établi scientifiquement.

OpenAI accepte le principe d’évaluations indépendantes

Parallèlement à ces alertes, une partie de l’industrie commence à défendre des mécanismes de contrôle plus formels. OpenAI soutient ainsi le Frontier Act, un projet de loi bipartisan présenté à la Chambre des représentants américaine par les élus Jay Obernolte, républicain de Californie, et Lori Trahan, démocrate du Massachusetts. Le texte vise les développeurs des modèles d’IA les plus avancés. Il prévoit notamment davantage de transparence et le recours à des évaluations indépendantes de leur sécurité. Le projet a été présenté en juillet et n’est pas, à ce stade, une loi en vigueur. Cette évolution marque un changement par rapport à une approche reposant principalement sur les engagements volontaires des entreprises. Il faut toutefois distinguer cette initiative des discussions menées séparément entre les principaux laboratoires.

OpenAI, Anthropic et Google DeepMind discutent de sécurité

OpenAI travaille également avec Anthropic et Google DeepMind sur des questions de sécurité de l’IA, selon des informations rapportées le 15 septembre par Reuters à partir d’un article de Bloomberg. Les entreprises discutent notamment de la manière de mieux coordonner leurs efforts face aux risques liés aux systèmes avancés. Reuters précise toutefois que les informations sur ces discussions n’ont pas été vérifiées indépendamment par l’agence. Cette coopération ne signifie donc pas que les trois entreprises soutiennent toutes les mêmes textes réglementaires ou qu’elles défendent une position identique sur le rythme de développement de l’IA.

Les dirigeants de l’IA eux-mêmes divisés sur le rythme à tenir

Le débat porte désormais directement sur la vitesse de développement des modèles les plus puissants. Le patron d’Anthropic, Dario Amodei, a appelé à « ralentir » le développement de l’IA de pointe pour mieux maîtriser les risques. Sam Altman, d’OpenAI, a également soutenu l’idée d’un rythme de développement plus prudent, tout en défendant la poursuite de l’innovation.

Le désaccord porte donc moins sur l’existence de risques que sur leur ampleur, leur probabilité et surtout sur les moyens de les traiter.

Washington face à un choix entre contrôle et compétition

Aux États-Unis, cette question est devenue un sujet politique. Le président Donald Trump a rejeté le 14 septembre les craintes d’une IA susceptible de prendre le dessus sur les humains, qualifiant notamment ces inquiétudes de « canulars ». Son administration défend une approche qui privilégie le développement du secteur américain et la compétition technologique avec la Chine. À l’inverse, des responsables de l’industrie et des chercheurs demandent davantage de contrôles et d’évaluations indépendantes. Le débat oppose donc désormais plusieurs priorités : accélérer l’innovation, préserver la compétitivité américaine, limiter les risques de cybersécurité et prévenir d’éventuels risques plus graves liés à l’autonomie des systèmes.

Bengio obtient 300 millions de dollars canadiens pour LawZero

Le 16 septembre, le gouvernement canadien et le gouvernement allemand ont par ailleurs annoncé un engagement de financement pouvant atteindre 300 millions de dollars canadiens pour LawZero, l’organisation à but non lucratif fondée par Yoshua Bengio pour travailler sur une IA conçue avec la sécurité comme priorité. Cette somme représente environ 200 millions d’euros. LawZero indique que ce financement doit notamment soutenir ses recherches sur des systèmes d’IA conçus pour réduire les risques liés aux comportements autonomes. Ce financement intervient le jour même où Bengio renouvelle publiquement son appel à renforcer la gouvernance de l’intelligence artificielle.

Une question qui dépasse désormais les laboratoires

Le débat ne porte donc plus seulement sur les performances des modèles. Il concerne leur capacité à agir de manière autonome, la possibilité de vérifier réellement leur comportement et la place que les pouvoirs publics doivent prendre dans leur contrôle. Yoshua Bengio défend une réponse internationale, avec des institutions, des règles communes et des mécanismes de contrôle démocratique. Sa comparaison avec la gouvernance des technologies nucléaires traduit son idée centrale : plus les capacités de l’IA progressent, plus les mécanismes de contrôle doivent progresser avec elles. Pour l’heure, aucun consensus international de cette nature n’existe. Mais entre les alertes de chercheurs, les discussions entre grands laboratoires et les premières propositions législatives, la question du contrôle de l’IA est désormais passée du débat théorique à celui de la gouvernance concrète.