Préparation aux risques de l’intelligence artificielle catastrophique.
OpenAI, l’organisation révolutionnaire derrière ChatGPT et d’autres modèles d’IA de pointe, adopte une approche proactive pour faire face aux « risques catastrophiques » potentiels liés à l’intelligence artificielle. Ils ont récemment créé une équipe dédiée à la « Préparation » dont la mission est de surveiller, d’évaluer, de prévoir et de protéger contre ces dangers imminents.
L’étendue de ces risques catastrophiques, telle qu’envisagée par OpenAI, englobe plusieurs scénarios alarmants. Cela inclut l’utilisation abusive de l’IA pour créer du contenu hautement persuasif et potentiellement malveillant, compromettre la cybersécurité, voire intégrer l’IA dans le développement d’armes destructrices, y compris les armes nucléaires. De plus, l’équipe vise à atténuer la menace de « réplication et adaptation autonomes » (ARA), qui implique la possibilité pour l’IA de se dupliquer et de se modifier de manière autonome.
OpenAI reconnaît que la prochaine génération de modèles d’IA de pointe, qui devrait dépasser les capacités des modèles avancés existants, offre un énorme potentiel pour le bénéfice de l’humanité. Cependant, ces avancées comportent également des risques de plus en plus graves qui nécessitent une attention et une atténuation attentives.
Construire un bouclier pour se prémunir contre les événements catastrophiques de l’IA.
To prevent these dangerous scenarios, OpenAI is dedicated to developing frameworks that can anticipate and safeguard against the potentially harmful capabilities of emerging artificial intelligence systems. The « Preparedness » team will play a crucial role in achieving this mission.
As part of the formation of this essential team, OpenAI has introduced the « Preparedness Challenge, » an initiative that encourages individuals to envision unique yet plausible misuses of AI models that could have catastrophic consequences. For instance, one such challenge involves considering the scenario of AI being used to disrupt power grids.
Outstanding submissions outlining malicious AI applications will have the opportunity to receive credits for OpenAI’s tools. Additionally, OpenAI is open to the possibility of hiring talented individuals who submit innovative ideas for the « Preparedness » team. The team will be led by Aleksander Madry, an esteemed AI expert from the Massachusetts Institute of Technology.
OpenAI’s announcement of the « Preparedness » team coincides with its participation in the UK’s AI Safety Summit, scheduled for the upcoming week. OpenAI is among a group of companies that have pledged their commitment to ensuring the safe and responsible utilization of artificial intelligence.
In a world where AI continues to rapidly evolve, OpenAI’s forward-thinking approach to anticipating and mitigating catastrophic AI risks is a commendable step towards safeguarding humanity from the unintended consequences of advanced technology.