Des chercheurs lancent un ensemble d’évaluations pour les LLM en lien avec la loi sur l’intelligence artificielle de l’UE

Un collectif de chercheurs pionniers a récemment annoncé le lancement d’un ensemble d’évaluations visant à standardiser l’interprétation technique des exigences légales posées par la nouvelle loi sur l’intelligence artificielle de l’Union européenne. Ces évaluations pour les modèles de langage de grande taille (LLM) promettent une avancée notable vers une conformité plus rigoureuse, sans sacrifier la performance et l’intégrité des modèles. Leur objectif est de garantir un usage responsable et éthique des technologies IA.

Une nouvelle interprétation technique du cadre légal

Les chercheurs de l’ETH Zurich, en collaboration avec l’Institut bulgare de recherche en IA INSAIT et LatticeFlow AI, ont entrepris de traduire les exigences légales européennes en normes techniques mesurables et vérifiables. Jusqu’à présent, ces normes concrètes faisaient défaut, compliquant l’implémentation des critères de conformité. Ce nouveau cadre offre aux développeurs de modèles une méthode pratique pour évaluer l’alignement de leurs créations avec la réglementation européenne.

Des normes à la pratique : premier test sur des modèles existants

Ce cadre a été testé sur douze modèles de langage génératif parmi les plus connus, tels que ChatGPT, Llama, Claude ou Mistral. Ces LLM ont déjà démontré leur potentiel, rendant l’IA accessible et populaire. Cependant, le besoin d’une utilisation responsable et légale soulève des questions cruciales, notamment en matière de protection des données, de transparence et d’éthique. Les résultats du test ont révélé que ces modèles ne satisfont pas complètement aux exigences de la loi, en particulier concernant la robustesse, la diversité et l’équité.

L’importance des exigences techniques claires

La mise en œuvre réussie de la loi sur l’IA dépend non seulement de la législation elle-même, mais surtout de la façon dont ses exigences seront techniquement interprétées et appliquées. Le cadre développé par les chercheurs clarifie les termes-clés et propose des méthodes d’évaluation standardisées. Cependant, certains aspects, comme l’explicabilité des modèles, manquent encore de clarté pratique et technique, rendant leur évaluation fiable difficile.

Vers une IA digne de confiance

The loi sur l’IA de l’Union européenne, adoptée pour maximiser la confiance du public, impose un cadre légal visant à minimiser les risques associés aux technologies IA. Cette initiative des chercheurs, outre la conformité légale, vise aussi à encourager une compétition saine entre développeurs, les poussant à intégrer davantage d’exigences éthiques et sociales dans le développement des LLM.

Un outil pour le progrès continu

Poursuivant leur mission, les chercheurs ont rendu leur outil d’évaluation, appelé COMPL-AI, accessible sur une plateforme open source. Cette démarche vise à stimuler la discussion technique et permet à d’autres chercheurs et professionnels de contribuer à l’amélioration continue des modèles. Par cette approche, ils espèrent non seulement satisfaire aux besoins immédiats de la législation européenne, mais aussi offrir des solutions viables qui pourraient être adaptées à d’autres lois similaires dans le futur.