Mise en place d'une équipe dédiée
OpenAI, reconnue pour ses initiatives dans le domaine de l’intelligence artificielle, a dévoilé sa stratégie pour anticiper et réduire les risques associés à cette technologie.
L’organisation a annoncé la création d’une unité spécialisée, dirigée par le chercheur en informatique Aleksander Madry du MIT, focalisée sur l’analyse des logiciels d’IA de pointe actuellement en cours de développement, dont les compétences surpassent les systèmes existants les plus sophistiqués.
Évaluation & classification des risques
L’équipe en question veillera à évaluer les risques potentiels des nouveaux modèles en les catégorisant selon quatre niveaux de dangerosité, allant de faible à critique.
OpenAI se concentrera sur divers domaines de préoccupation, notamment la cybersécurité, la capacité du logiciel à faciliter la création de menaces CBRN (chimiques, biologiques, radiologiques et nucléaires), son influence sur le comportement humain, ainsi que l’autonomie, c’est-à-dire la probabilité qu’un modèle échappe au contrôle de ses créateurs.
Procédure de développement et de déploiement sécurisé
Les modèles d’IA seront soumis à des mesures de sécurité renforcées, en particulier ceux classés comme présentant des risques élevés ou critiques avant toute atténuation.
Seules les versions ayant un niveau de risque moyen ou plus bas seront autorisées à être déployées, et seul un niveau de risque élevé ou moindre permettra la poursuite du développement.
Le rôle du conseil de sécurité (et la prise de décisions)
Après l’identification des risques, un rapport sera présenté au Conseil de sécurité d’OpenAI, qui formulera ensuite des recommandations à la direction et au conseil d’administration, guidant ainsi les décisions du PDG Sam Altman sur l’avenir des modèles concernés.
Le conseil d’administration possède également le pouvoir de révoquer ces décisions.
Contexte organisationnel et focus sur la sécurité
Cette initiative survient dans un contexte mouvementé pour OpenAI, marqué notamment par le départ temporaire de l’ancien PDG et un examen critique des priorités de l’organisation.
Il a été souligné l’importance de considérer les implications éthiques et sécuritaires liées à l’accélération du développement de l’IA, plutôt que de se concentrer uniquement sur la croissance rapide de la société.
