À la recherche d’un spécialiste pour anticiper les dérives de l’IA : le terrible aveu d’OpenAI

OpenAI recrute actuellement pour le poste de responsable de la préparation , une position clé dans le développement de l'intelligence artificielle avancée. Ce rôle est assorti d'une rémunération annuelle de 555 000 dollars, excluant les stock-options, ce qui souligne l'importance stratégique et la complexité des risques associés.

Le futur responsable aura pour mission de suivre, mesurer et anticiper les capacités des modèles d'IA les plus avancés. Il s'agira d'identifier les risques d'usage abusif et de mettre en place des mesures de sécurité adaptées, notamment dans les domaines de la cybersécurité et des usages biologiques sensibles, ainsi que pour les systèmes capables de s'auto-améliorer.

Sam Altman, PDG d'OpenAI, a indiqué que l'entreprise dispose déjà d'une base solide pour mesurer l'évolution des capacités des modèles. Toutefois, il reconnaît la nécessité d'une compréhension plus approfondie pour limiter les effets négatifs potentiels, tant dans les produits d'OpenAI que dans le monde réel.

Ce recrutement suit le départ d'Aleksander Madry, l'ancien responsable de la préparation, réaffecté à un poste axé sur le raisonnement des modèles d'IA en 2024. Cette transition a laissé un vide dans l'équipe chargée d'évaluer les risques catastrophiques .

OpenAI, dont le chatbot ChatGPT est largement utilisé, a récemment fait face à des controverses concernant la santé mentale. La technologie a été accusée de renforcer des délires, favoriser l'isolement social et contribuer à des suicides. OpenAI a reconnu que certains mécanismes de sécurité peuvent se dégrader au fil de longues conversations et a renforcé ses réponses dans des situations sensibles.

Le nouveau responsable devra restaurer et maintenir la confiance des utilisateurs tout en accompagnant le déploiement de modèles de plus en plus puissants. Cela représente un équilibre délicat dans une entreprise sous forte surveillance.

OpenAI recrute pour un poste stratégique chargé d’anticiper et de limiter les risques liés à ses modèles d’IA les plus avancés, avec une rémunération de 555 000 dollars par an. Les progrès rapides de l’IA posent de vrais défis , en particulier en matière de santé mentale et de cybersécurité. Ce recrutement intervient dans un contexte sensible, alors que ChatGPT fait l’objet de critiques et de plaintes sur son impact auprès des utilisateurs.

D’après Presse-citron.