L'IA constitutionnelle collective : aligner un modèle linguistique sur les commentaires du public

Dans le cadre d'une expérience révolutionnaire, Anthropic, une société de recherche en IA de premier plan, a collaboré avec le Collective Intelligence Project pour élaborer une constitution pour un système d'IA à l'aide des commentaires d'un échantillon diversifié du public américain. Cette approche novatrice, appelée "IA constitutionnelle", vise à créer des systèmes d'IA transparents et responsables en intégrant des principes juridiques et éthiques directement dans le processus de formation de l'IA. 

Cet article plonge dans les méandres de cette recherche innovante, en explorant la méthodologie, les résultats et les implications considérables pour l'avenir de la gouvernance de l'IA, à une époque où les modèles de langage avancés sont de plus en plus intégrés dans des secteurs critiques tels que la gouvernance, le système judiciaire et l'élaboration des politiques.

Principaux enseignements : L'expérience de collaboration entre Anthropic et le Collective Intelligence Project a abouti à une "constitution publique" pour un système d'IA, rédigée par un échantillon représentatif de ~1 000 Américains. La constitution publique ai met l'accent sur l'objectivité, l'impartialité et l'accessibilité, et les modèles formés sur cette constitution démontrent des performances comparables à celles des modèles formés sur la constitution d'Anthropic, tout en présentant moins de biais. L'expérience met en évidence les défis et les considérations liés à l'intégration de l'apport démocratique dans le développement de l'IA, mais représente une étape importante vers l'alignement des modèles de langage avancés sur les valeurs humaines.

Qu'est-ce que l'IA constitutionnelle ?

L'IA constitutionnelle est une méthodologie révolutionnaire développée par Anthropic pour s'assurer que les systèmes d'IA fonctionnent en alignement avec des principes normatifs explicites, de la même manière qu'une constitution régit le comportement d'une nation. Au cœur de l'IA constitutionnelle d'Anthropic se trouve la définition d'un ensemble de valeurs et de principes de haut niveau qui servent de cadre d'orientation à l'IA. Ces principes sont soigneusement élaborés pour garantir que les actions de l'IA s'alignent sur les normes et les attentes de la société, favorisant les comportements bénéfiques tout en minimisant le potentiel de résultats néfastes.

Pour inculquer efficacement ces principes à l'IA, l'IA constitutionnelle emploie des techniques avancées telles que :

• L'autosupervision : Cela permet à l'IA d'apprendre de ses propres expériences et interactions, en intériorisant progressivement les comportements souhaités sans avoir besoin d'une surveillance humaine constante.
• Entraînement contradictoire : En exposant l'IA à un large éventail de scénarios et de défis, cette technique l'aide à développer des capacités de prise de décision robustes qui respectent les limites éthiques et juridiques prédéfinies.

Un autre aspect critique de l'IA constitutionnelle est la curation méticuleuse des données et de l'architecture d'entraînement de l'IA. En sélectionnant soigneusement et en prétraitant les données utilisées pour former l'IA, les chercheurs peuvent s'assurer que le système est exposé à un ensemble équilibré et représentatif d'exemples qui renforcent les comportements et les valeurs souhaités. En outre, l'architecture de l'IA elle-même est conçue pour promouvoir l'alignement sur les principes constitutionnels, en incorporant des mécanismes qui encouragent les résultats utiles, inoffensifs et honnêtes.

En intégrant ces principes directement dans le processus de prise de décision de l'IA, l'IA constitutionnelle vise à créer des systèmes qui s'efforcent de manière proactive de fonctionner dans des limites éthiques et juridiques prédéfinies. Cela signifie que l'IA cherchera activement à :

• Sois utile aux utilisateurs
• Évite de causer du tort
• Fournis des informations véridiques et précises

L'objectif est de développer des systèmes d'IA qui sont non seulement très performants, mais aussi intrinsèquement alignés sur les valeurs humaines et les attentes de la société.

Le développement de l'IA constitutionnelle représente une avancée significative dans le domaine de la gouvernance et de l'éthique de l'IA. En établissant un ensemble clair de principes normatifs et en les intégrant dans les fonctionnalités de base de l'IA, les chercheurs peuvent créer des systèmes plus transparents, plus responsables et plus dignes de confiance. Cette approche a le potentiel d'atténuer de nombreux risques et défis associés au déploiement de l'IA dans des domaines critiques tels que la gouvernance, le système judiciaire et l'élaboration des politiques, en garantissant que ces systèmes fonctionnent au service du bien commun.

Pourquoi l'IA constitutionnelle ?

Le développement de l'IA constitutionnelle est motivé par plusieurs raisons impérieuses qui répondent aux défis critiques posés par l'intégration croissante des systèmes d'IA dans divers aspects de la société :

Sauvegarde éthique :

• L'IA constitutionnelle sert de garde-fou éthique essentiel, garantissant que les systèmes d'IA fonctionnent dans le respect des valeurs et des droits fondamentaux.
• En intégrant des principes éthiques dans les fonctionnalités de base de l'IA, l'IA constitutionnelle garantit la protection des droits individuels et du bien-être de la société, en particulier dans des domaines sensibles tels que les soins de santé, la finance et la justice pénale.

Conformité légale :

• L'IA constitutionnelle est cruciale pour garantir le respect de la loi dans les domaines où l'adhésion aux directives constitutionnelles n'est pas négociable, comme le secteur judiciaire et celui de l'élaboration des politiques.
• En intégrant des principes juridiques au processus de prise de décision de l'IA, l'IA constitutionnelle réduit le risque de violations involontaires ou de résultats biaisés, ce qui permet de maintenir l'intégrité et l'équité de ces institutions.

Confiance et acceptation du public :

• L'IA constitutionnelle favorise la confiance du public et l'acceptation des systèmes d'IA en rendant leurs principes directeurs transparents et accessibles.
• Cette transparence favorise la responsabilisation et contribue à démystifier l'IA, encourageant une plus grande confiance du public dans la sécurité, la fiabilité et l'alignement de ces systèmes sur les valeurs humaines.
• Favoriser la confiance est crucial pour l'adoption à grande échelle et l'intégration réussie des technologies de l'IA dans divers aspects de la société.

Atténuation des risques :

• L'IA constitutionnelle permet d'atténuer les risques potentiels et les conséquences involontaires associés au déploiement des systèmes d'IA.
• En intégrant de manière proactive des principes éthiques et juridiques dans les fonctionnalités de base de l'IA, les chercheurs peuvent minimiser la probabilité que ces systèmes causent du tort, perpétuent des préjugés ou prennent des décisions contraires aux valeurs humaines.

En résumé, l'IA constitutionnelle est motivée par le besoin pressant de s'assurer que les systèmes d'IA fonctionnent de manière éthique, conforme à la loi et digne de confiance. Alors que ces technologies s'intègrent de plus en plus à des domaines critiques et à des processus décisionnels, l'IA constitutionnelle fournit un outil puissant pour créer des systèmes d'IA transparents, responsables et intrinsèquement alignés sur les principes qui sous-tendent notre société. En donnant la priorité au développement et au déploiement de l'IA constitutionnelle, nous pouvons libérer l'immense potentiel de ces technologies tout en atténuant les risques et les défis qu'elles posent.

Comment tu peux démocratiser le développement de l'IA grâce à l'intégration du Сlaude d'Anthropic et de l'outil d'aide à la décision. Latenode

LatenodeL' intégration transparente de la plateforme avec l'IA constitutionnelle d'Anthropic offre aux utilisateurs un outil efficace pour exploiter des systèmes d'IA alignés sur les valeurs publiques sans la complexité de la gestion de l'infrastructure de formation du modèle. L'éditeur visuel intuitif de la plateforme simplifie le processus d'intégration de l'IA constitutionnelle à d'autres systèmes via des API, ce qui permet aux organisations d'incorporer sans effort des principes d'IA éthiques dans leurs processus d'automatisation. En utilisant Latenode, les utilisateurs peuvent commodément accéder aux fonctionnalités de Constitutional AI, y compris ses capacités d'atténuation des biais, de prise de décision éthique et de conformité légale. L'intégration permet également aux utilisateurs de basculer en toute transparence entre différentes configurations d'Anthropic Constitutional AI, en fonction de leurs besoins spécifiques et de leur budget. Par exemple, la création d'un script pour un chatbot de service client qui fournit des réponses impartiales et éthiques est simple.

Voici à quoi ressemble le script :

‍Et voici le résultat de ce scénario, où un chatbot déjà créé à l'aide de Latenode fournit une réponse impartiale à une requête d'un client :

‍

Tu peux en savoir plus sur ce script et sur l'intégration avec Latenode dans cet article. L'intégration avec Latenode offre quelques avantages clés :

• Facilité d'utilisation : Latenode L'intégration de 's avec AI Anthropic simplifie le processus d'utilisation de l'IA, ce qui permet aux utilisateurs non techniques d'accéder plus facilement aux capacités d'IA dont ils ont besoin et de les comprendre. Cela peut aider les entreprises à adopter rapidement et facilement des solutions d'IA, sans avoir besoin d'une expertise technique approfondie.
• Tarification flexible : l 'intégration de Latenode permet aux utilisateurs de choisir entre les différentes versions d'Anthropic Claude, avec des coûts et des fonctionnalités variables, ce qui en fait une option plus accessible et plus abordable pour les entreprises et les particuliers.
• Des solutions complètes en matière d'IA : Latenode'intégration d'AI Anthropic Claude permet aux utilisateurs d'accéder à un large éventail de capacités d'IA, des tâches complexes aux simples requêtes, ce qui en fait une plateforme d'IA polyvalente et puissante.
• Personnalisation: Grâce à l'intégration de Latenode's, les utilisateurs peuvent personnaliser Claude pour répondre à leurs besoins spécifiques, ce qui leur permet de créer des solutions d'IA sur mesure qui s'alignent sur leurs buts et objectifs commerciaux... :

Si tu as besoin d'aide ou de conseils pour créer ton propre script ou si tu veux reproduire celui-ci, contacte. Notre communauté Discord, où se trouvent les experts en automatisation low-code.

Concevoir un processus de participation du public pour rédiger collectivement une constitution

Pour explorer le potentiel de démocratisation du développement de l'IA constitutionnelle Anthropic s'est associé au Projet d'intelligence collective pour mener un processus de contribution publique à l'aide de la plateforme Polis. L'objectif était de faire participer un échantillon représentatif de ~1 000 adultes américains à la rédaction d'une constitution pour un système d'IA. Les participants ont été invités à proposer et à voter sur des principes normatifs, contribuant ainsi à la génération collective d'un ensemble de lignes directrices pour le comportement de l'IA.

La conception du processus de participation du public a nécessité plusieurs décisions cruciales :

• Sélection des participants: Les chercheurs ont cherché à recruter un échantillon diversifié et représentatif de la population américaine, en tenant compte de facteurs tels que l'âge, le sexe, le revenu et la géographie. Des critères de sélection ont été utilisés pour s'assurer que les participants avaient une connaissance de base des concepts de l'IA.
• Choix de la plateforme: La plateforme Polis a été choisie pour ses antécédents éprouvés en matière de facilitation des délibérations en ligne et de recherche de consensus, ainsi que pour ses fonctionnalités collaboratives qui permettent aux participants de s'engager sur les idées des autres.
• Déclarations préliminaires: Pour guider la discussion et fournir un point de départ aux participants, les chercheurs ont inclus un ensemble de 21 énoncés de base comme exemples de principes de portée et de format appropriés. Ces déclarations ont été soigneusement choisies pour représenter une gamme de valeurs potentielles sans influencer indûment l'orientation de la conversation.
• Critères de modération: Des directives de modération claires ont été établies pour garantir la qualité et la pertinence des contributions des participants. Les déclarations haineuses, absurdes, redondantes, non pertinentes, mal formatées ou techniquement irréalisables ont été supprimées afin de préserver l'intégrité du processus.

Analyser la constitution de source publique

Le processus de consultation publique a donné lieu à une riche tapisserie de principes générés par les participants, qui ont été synthétisés en une "constitution publique" cohérente. Bien qu'il y ait eu un chevauchement modéré d'environ 50 % avec la constitution interne d'Anthropic en termes de concepts et de valeurs de base, la constitution publique présentait plusieurs distinctions notables :

• L'accent mis sur l'objectivité et l'impartialité: La constitution publique mettait fortement l'accent sur la capacité de l'IA à fournir des informations équilibrées et objectives, en considérant de multiples perspectives sans parti pris.
• L'accent mis sur l'accessibilité: Les participants ont souligné l'importance de l'accessibilité, de l'adaptabilité et de l'inclusion de l'IA pour les personnes ayant des besoins et des capacités divers.
• Promotion des comportements souhaités: Contrairement à la constitution d'Anthropic, qui s'attache souvent à décourager les actions indésirables, la constitution publique tend à privilégier la promotion des comportements et des qualités positives.
• Principes auto-générés: La majorité des principes de la constitution publique étaient des contributions originales des participants, plutôt que de provenir de publications ou de cadres existants.

Ces différences soulignent la valeur de l'intégration de diverses perspectives publiques dans l'élaboration des fondements éthiques des systèmes d'IA.

Formation et évaluation d'un modèle conforme aux commentaires du public

Pour évaluer l'impact de la constitution publique, Anthropic a formé deux variantes de son modèle d'IA, Claude - l'une utilisant la constitution publique (modèle public) et l'autre utilisant leur constitution interne originale (modèle standard). Ces modèles, ainsi qu'un modèle de contrôle, ont été soumis à une évaluation rigoureuse sur plusieurs dimensions :

• Compréhension du langage et capacités mathématiques: Les modèles Public et Standard ont démontré des performances comparables dans les tâches évaluant la compréhension de la langue (MMLU) et la résolution de problèmes mathématiques (GSM8K), ce qui indique que le choix de la constitution n'a pas eu d'impact significatif sur les capacités de base des modèles.
• Utilité et innocuité: Les évaluateurs humains ont interagi avec les modèles et ont évalué le modèle public comme étant aussi utile et inoffensif que le modèle standard, ce qui suggère que la constitution publique a efficacement aligné le comportement de l'IA sur les préférences humaines.
• Évaluation des biais: En utilisant le cadre BBQ (Bias Benchmark for QA), les chercheurs ont constaté que le modèle public présentait des biais réduits dans neuf catégories sociales par rapport au modèle standard. Ce résultat met en évidence le potentiel de la contribution du public pour atténuer les biais et promouvoir l'équité dans les systèmes d'IA.
• Idéologie politique: Le repère OpinionQA a révélé que les modèles Public et Standard reflétaient des idéologies politiques similaires, ce qui indique que le choix de la constitution n'a pas modifié de manière substantielle les tendances politiques de l'IA.

Ces évaluations fournissent des indications précieuses sur l'efficacité de l'IA constitutionnelle à aligner les modèles linguistiques sur les valeurs et les principes déterminés publiquement.

Leçons apprises

Le processus de formation d'un modèle d'IA basé sur les commentaires qualitatifs du public a présenté un ensemble unique de défis et a nécessité un examen minutieux à chaque étape :

Exécuter le processus de participation du public:

• Sélection des participants : Il était essentiel de trouver un équilibre entre la représentativité et la familiarité avec l'IA pour garantir des contributions significatives. L'utilisation de critères de sélection a permis d'atténuer la confusion et les déclarations hors sujet.
• Choix de la plateforme : Le choix de la plateforme Polis s'est basé sur sa réputation de faciliter les délibérations productives en ligne et sur ses fonctionnalités collaboratives. Cependant, d'autres plateformes telles que All Our Ideas et Remesh ont également été envisagées.
• Déclarations de départ : Le fait de fournir un ensemble varié d'exemples d'énoncés a permis de guider les participants et de susciter des contributions utiles. Les chercheurs ont cherché à minimiser l'influence de ces déclarations préliminaires sur le résultat final.
• Critères de modération : Il était essentiel d'établir des directives de modération claires pour maintenir la qualité et la pertinence des contributions des participants. Cependant, l'application de ces critères a parfois impliqué des jugements subjectifs.

Élaborer une constitution à partir des contributions du public:

• Suppression des déclarations en double: Pour éviter que certaines idées ne soient trop mises en avant et pour garantir une représentation équilibrée de l'opinion publique, les déclarations en double ont été supprimées. Cette décision a nécessité de mettre en balance la dimension sociale de la représentation fidèle des opinions majoritaires et les contraintes techniques de la formation à l'IA constitutionnelle.
• Combinaison d'idées similaires : Pour conserver une longueur gérable et un nombre de valeurs distinctes, des déclarations similaires ont été combinées en principes plus complets. Ce processus a nécessité une réflexion approfondie pour préserver l'essence des contributions originales.
• Mise en correspondance des déclarations publiques avec les principes de l'IA de l'IPE : Les chercheurs ont dû traduire les déclarations publiques, qui étaient souvent formulées sous forme d'affirmations générales, dans le format spécifique requis pour la formation à l'IA constitutionnelle. Cela a impliqué des décisions subjectives pour trouver un équilibre entre la fidélité aux déclarations originales et l'efficacité prouvée du format de constitution existant.

Formation et évaluation des modèles:

• Choix de la base de données d'invite: Le choix de la base de données d'invites utilisée pour la formation à l'IA constitutionnelle a eu un impact significatif sur la pertinence et l'efficacité des modèles obtenus. Les expériences futures doivent soigneusement prendre en compte l'alignement entre la base de données d'invites et les principes spécifiques de la constitution.
• Pondération des pertes: La pondération appropriée des différents objectifs, tels que l'utilité et l'innocuité, au cours du processus de formation était cruciale pour éviter les modèles trop prudents ou peu utiles. Un raffinement itératif basé sur des évaluations humaines a été nécessaire pour trouver le bon équilibre.
• Paramètres d'évaluation: La sélection de mesures d'évaluation appropriées pour saisir les nuances de l'alignement de l'IA constitutionnelle s'est avérée difficile. Les chercheurs ont reconnu le besoin d'évaluations plus ciblées, spécifiquement conçues pour évaluer la fidélité des modèles à leurs constitutions.
• Complexité de la formation à l'IA constitutionnelle : Les complexités techniques de la formation à l'IA constitutionnelle ont nécessité une collaboration étroite entre les chercheurs et les développeurs originaux. Cela met en évidence la nécessité d'une expertise interdisciplinaire et d'un partage des connaissances pour intégrer efficacement l'apport démocratique dans les systèmes d'IA.

Ces leçons soulignent les multiples facettes de l'alignement de l'IA sur les valeurs publiques et l'importance de naviguer avec soin dans les considérations sociales, techniques et éthiques impliquées.

Implications et voies d'avenir

L'expérience Constituional AI menée par Anthropic et le Collective Intelligence Project a de profondes implications pour l'avenir du développement et de la gouvernance de l'IA :

• Démonstration de la faisabilité de l'alignement des valeurs: La formation réussie de modèles d'IA basés sur une constitution d'origine publique montre le potentiel d'alignement des modèles de langage avancés sur des valeurs et des principes déterminés collectivement. Cela ouvre de nouvelles voies pour intégrer diverses perspectives dans le développement des systèmes d'IA.
• Renforcer la transparence et la responsabilité: En rendant les principes directeurs de l'IA explicites et en les soumettant à l'examen du public, l'IA constitutionnelle favorise la transparence et la responsabilité dans la prise de décision de l'IA. Cela est particulièrement crucial dans les domaines où les systèmes d'IA ont une influence significative sur les vies humaines et les résultats sociétaux.
• Mettre l'accent sur la collaboration interdisciplinaire: L'expérience met en évidence l'importance de la collaboration entre les développeurs d'IA, les chercheurs en sciences sociales et le public pour façonner les fondements éthiques de l'IA. Elle souligne la nécessité d'approches interdisciplinaires qui combinent l'expertise technique avec les connaissances des sciences sociales et des processus démocratiques.

Pour l'avenir, les chercheurs souhaitent s'appuyer sur ce travail fondamental en affinant leurs méthodologies, en concevant des évaluations plus ciblées et en explorant l'évolutivité et la généralisation de l'approche de l'IA constitutionnelle. Parmi les orientations futures potentielles, on peut citer :

• Élargir la portée de l'engagement public pour inclure des perspectives plus diversifiées et mondiales.
• Développer des cadres normalisés pour traduire les contributions du public en principes d'IA exploitables.
• Étudier les effets à long terme de l'IA constitutionnelle sur le comportement et la prise de décision des systèmes d'IA dans des contextes réels.
• Explorer le potentiel des constitutions personnalisables ou spécifiques à un domaine pour répondre aux défis éthiques uniques des différentes industries et applications.

Alors que le domaine de l'IA continue d'évoluer à un rythme sans précédent, les connaissances acquises grâce à cette expérience façonneront sans aucun doute la trajectoire des futurs efforts de recherche et de développement.

Conclusion

L'expérience d'IA constitutionnelle collective menée par Anthropic et le Projet d'intelligence collective est un jalon important dans la démocratisation du développement de l'IA. En impliquant le public dans la création d'une constitution de l'IA, cette recherche jette les bases d'une approche plus inclusive, transparente et responsable de la gouvernance de l'IA. Les résultats soulignent la valeur des diverses perspectives et les défis liés à l'alignement des modèles de langage avancés sur les valeurs sociétales.

L'IA constitutionnelle apparaît comme un cadre prometteur pour s'assurer que les puissantes technologies d'IA servent le plus grand bien. En plaçant les valeurs humaines au cœur du développement de l'IA, nous pouvons exploiter le potentiel de ces systèmes tout en atténuant les risques et les conséquences involontaires.

Cependant, le voyage vers une IA véritablement démocratique et alignée sur les valeurs est loin d'être terminé. L'expérience sert d'appel à la poursuite de la collaboration, de la recherche et de l'engagement public pour façonner l'avenir de l'IA. Grâce à la sagesse collective et à la participation de diverses parties prenantes, nous pouvons tracer la voie vers un avenir basé sur l'IA qui soutient la transparence, la responsabilité et l'alignement sur les valeurs humaines.

Les enseignements tirés de cette expérience novatrice informeront et inspireront les futurs projets dans ce domaine. En nous appuyant sur les bases posées par Anthropic et le Projet d'intelligence collective, nous pouvons travailler à un avenir où les systèmes d'IA sont technologiquement avancés, éthiquement fondés et socialement responsables. Le chemin à parcourir peut être semé d'embûches, mais les récompenses potentielles - un monde où l'IA et l'humanité travaillent en harmonie - en valent bien la peine.

FAQ

Qu'est-ce qui distingue l'IA constitutionnelle des autres approches d'alignement de l'IA ? 

Constitutional AI se distingue en se concentrant sur l'intégration de valeurs et de principes de haut niveau directement dans le processus de formation du système d'IA. Plutôt que de s'appuyer uniquement sur des contraintes ou une surveillance externes, l'IA constitutionnelle vise à créer des systèmes d'IA qui s'alignent intrinsèquement sur les normes et les attentes de la société.

Comment les participants ont-ils été sélectionnés pour le processus de consultation publique ? 

Les chercheurs ont collaboré avec la société de sondage PureSpectrum pour recruter un échantillon représentatif d'environ 1 000 adultes américains. Le processus de sélection a pris en compte des facteurs démographiques tels que l'âge, le sexe, le revenu et la géographie afin de garantir un groupe de participants diversifié et inclusif. En outre, des critères de sélection ont été utilisés pour évaluer la familiarité des participants avec les concepts de l'IA.

Pourquoi la plateforme Polis a-t-elle été choisie pour le processus de consultation publique ? 

La plateforme Polis a été choisie en raison de ses antécédents éprouvés en matière de facilitation de délibérations en ligne productives et de recherche de consensus. Ses fonctions collaboratives, qui permettent aux participants de s'engager dans les idées des autres et de les développer, étaient bien adaptées aux objectifs de l'expérience de l'IA constitutionnelle. Les chercheurs avaient également une expérience préalable de travail avec l'équipe Polis, ce qui a facilité une mise en œuvre plus réfléchie et plus efficace du processus de participation du public.

Comment les chercheurs se sont-ils assurés de la qualité et de la pertinence des contributions des participants ? 

Pour maintenir l'intégrité du processus de participation du public, les chercheurs ont établi des critères de modération clairs. Les déclarations jugées haineuses, absurdes, redondantes, non pertinentes, mal formatées ou techniquement irréalisables ont été supprimées. Ce processus de modération a impliqué une combinaison de directives prédéfinies et de jugements subjectifs de la part de l'équipe de recherche.

Quelles sont les principales différences entre la constitution publique et la constitution originale d'Anthropic ? 

Bien qu'il y ait un chevauchement modéré d'environ 50 % entre la constitution publique et la constitution interne d'Anthropic en termes de concepts et de valeurs de base, la constitution publique présente quelques distinctions notables. Elle met davantage l'accent sur l'objectivité, l'impartialité et l'accessibilité, et tend à donner la priorité à la promotion des comportements souhaités plutôt qu'au découragement des comportements indésirables. En outre, la majorité des principes de la constitution publique étaient des contributions originales des participants, plutôt que des publications ou des cadres existants.

Comment les modèles formés sur la constitution publique se sont-ils comportés par rapport à ceux formés sur la constitution originale d'Anthropic ? 

Les modèles formés sur la constitution publique (modèles Public) ont démontré des performances comparables à celles des modèles formés sur la constitution d'Anthropic (modèles Standard) en termes de compréhension de la langue et d'utilité perçue. Cependant, les modèles Public ont montré une réduction des préjugés dans diverses dimensions sociales, comme mesuré par le cadre BBQ (Bias Benchmark for QA). Ce résultat suggère que l'intégration de l'avis du public peut potentiellement atténuer les préjugés et promouvoir l'équité dans les systèmes d'IA.

Quels sont les défis auxquels les chercheurs ont été confrontés pour intégrer l'apport démocratique dans le processus de développement de l'IA ? 

Le processus de formation d'un modèle d'IA basé sur les contributions qualitatives du public a présenté plusieurs défis. Il s'agissait notamment d'assurer une sélection représentative des participants, une modération efficace des contributions et de trouver un équilibre entre la représentation fidèle de l'opinion publique et les contraintes techniques de la formation à l'IA constitutionnelle. Les chercheurs ont également dû naviguer dans la complexité de la traduction des déclarations publiques en principes d'IA exploitables et sélectionner des mesures d'évaluation appropriées pour évaluer l'alignement des modèles résultants avec leurs constitutions.

Comment les enseignements de cette expérience peuvent-ils éclairer la recherche et le développement futurs en matière de gouvernance de l'IA ? 

L'expérience d'IA constitutionnelle menée par Anthropic et le Projet d'intelligence collective a des implications significatives pour l'avenir de la gouvernance de l'IA. Elle démontre qu'il est possible d'aligner des modèles de langage avancés sur des valeurs et des principes déterminés collectivement, ce qui met en évidence le potentiel d'intégration de diverses perspectives dans le développement de l'IA. L'expérience souligne également l'importance de la collaboration interdisciplinaire entre les développeurs d'IA, les chercheurs en sciences sociales et le public pour façonner les fondements éthiques de l'IA. Les recherches futures peuvent s'appuyer sur ces idées en explorant l'évolutivité et la généralisation de l'approche de l'IA constitutionnelle, en développant des cadres normalisés pour traduire les contributions du public en principes d'IA, et en étudiant les effets à long terme des systèmes d'IA alignés sur les valeurs dans des contextes réels.