Utilisation des grands modèles de langage (comme ChatGPT) dans la fonction publique fédérale

Au cours des derniers mois, le domaine des grands modèles de langage a connu une forte croissance. Ces modèles utilisent des algorithmes d’apprentissage automatique pour traiter de vastes quantités de données et générer des réponses textuelles semblables à celles d’un être humain grâce à ces données. Le ChatGPT d’OpenAI est l’un des produits qui ont le plus attiré l’attention. En raison de son entrée précoce sur le marché, il dispose actuellement d’un solide avantage sur ses concurrents.

Les grands modèles de langage comme ChatGPT font des prédictions fondées sur des tendances qu’ils observent dans les données. Plus précisément, ces modèles tentent de prédire quels mots sont susceptibles de se suivre dans une conversation ou un passage écrit. En disposant de suffisamment de données d’entraînement, les grands modèles de langage peuvent produire des réponses qui semblent naturelles et cohérentes. En raison des capacités impressionnantes de cette nouvelle technologie, de nombreuses entreprises et organisations du monde entier explorent avec enthousiasme ses applications potentielles. Les gouvernements, y compris le Canada, s’intéressent également aux grands modèles de langage.

Qu’est-ce que ChatGPT?

ChatGPT est une application commerciale d’un grand modèle de langage. Il s’agit d’un produit de marque, de la même manière qu’un café de Tim Hortons est différent d’un café ordinaire. L’entreprise OpenAI héberge une grande quantité de ressources informatiques en nuage. Elle exécute son grand modèle de langage et fournit une interface Web pour y accéder. Elle propose également une interface de programmation d’applications (API) pour ceux et celles qui souhaitent créer des produits en utilisant son grand modèle de langage.

Préoccupations relatives à ChatGPT

OpenAI héberge actuellement ChatGPT en tant que produit libre d’utilisation, mais l’entreprise conserve par défaut les données qui lui sont envoyées et les réponses qu’elle reçoit. OpenAI dispose d’un autre produit commercial appelé GPT-4 qui est plus avancé : il peut effectuer certaines actions au nom des utilisateurs et utilisatrices (comme des recherches sur le Web), mais il est confronté aux mêmes problèmes liés à la provenance inconnue des données.

Il existe également des préoccupations éthiques non résolues concernant la manière dont certaines données sont collectées. En effet, le Commissariat à la protection de la vie privée du Canada a ouvert une enquête qui est toujours en cours au moment de la rédaction de cet article.

Ainsi, l’envoi d’informations à ChatGPT doit être considéré comme non sécurisé, de la même manière que la publication d’informations sur un forum de discussion public.

De manière générale, qu’est-ce qu’un grand modèle de langage?

Les grands modèles de langage permettent de prédire les mots qui s’enchaînent dans une conversation, encore et encore.

Les concepteurs et conceptrices de grands modèles de langage collectent et utilisent de grandes quantités de données pour entraîner les modèles afin qu’ils deviennent plus performants en vue de prédire les mots qui se suivent dans une séquence. Ces données peuvent provenir d’une grande variété de sources, mais la plupart des organisations ont extrait et collecté les énormes quantités de données nécessaires sur l’Internet. Ces organisations ajoutent ensuite à leurs données extraites des milliers d’exemples créés par des humains sur la manière de se comporter lors d’une interaction avec un utilisateur ou une utilisatrice.

Il est très coûteux (cela coûte généralement des millions de dollars) d’entraîner et de perfectionner un grand modèle de langage à partir de zéro. Des efforts récents en matière de logiciels ouverts permettent de réduire ce coût. La gestion d’un grand modèle de langage est également assez coûteuse (généralement quelques sous par question ou quelques dollars par heure), mais elle est loin de représenter ce qu’il en coûte pour former une personne.

Leur taille est mesurée en « paramètres », c’est-à-dire le nombre de connexions internes qui composent le modèle, et se chiffre généralement en dizaines de milliards. ChatGPT, par exemple, se décline en tailles aussi petites que 1,3 milliard et jusqu’à 175 milliards de paramètres. La taille de GPT-4 n’a pas été divulguée par OpenAI, mais on estime généralement qu’elle dépasse largement les mille milliards de paramètres.

Les produits plus récents basés sur un grand modèle de langage peuvent effectuer des opérations au nom des utilisateurs et utilisatrices, comme rechercher du contenu Web, fournir des effets émotionnels à des avatars en ligne, déplacer des robots ou effectuer des activités commerciales (avec l’automatisation robotisée des processus [ARP] ou d’autres intégrations offertes par le fournisseur).

Quelles sont les options de rechange à ChatGPT?

Les options de rechange pour les grands modèles de langage se sont multipliées au cours des derniers mois. Voici quelques-unes des options les plus intéressantes :

• HuggingChat : Ce grand modèle de langage, dont le modèle d’utilisation gratuite est similaire à celui de ChatGPT, est hébergé par HuggingFace. Il comporte 30 milliards de paramètres. Le modèle est ouvert à l’inspection, mais les données d’entraînement ne le sont pas.
• LLaMA : Ce grand modèle de langage de Meta, la société mère de Facebook, a été conçu aux fins de recherche. Il existe en plusieurs tailles allant de 7 à 65 milliards de paramètres. Bien qu’il soit ouvert à l’inspection, la licence comporte des restrictions quant à l’utilisation du logiciel.
• Dolly 2.0 : Ce grand modèle de langage de DataBricks est également axé sur la recherche et sa taille varie de 2,8 à 12 milliards de paramètres. Il est suffisamment petit pour être autohébergé. Le modèle Dolly 2.0 se distingue par le fait qu’il est ouvert à l’inspection, que toutes ses données proviennent de sources éthiques et que l’utilisateur ou l’utilisatrice peut contrôler la destination de ses données.
• GPT4All de Nomic AI : Ce projet rassemble une large sélection de grands modèles de langage avec des codes source ouverts et des licences d’utilisation variées et fournit une interface commune. GPT4All se distingue par le fait que les modèles sont suffisamment bien optimisés pour fonctionner sur des ordinateurs de bureau ou des serveurs standards.

Les grands modèles de langage existent dans un espace dynamique en constante évolution. Au moment où cet article sera publié, il est probable que de nouveaux grands modèles de langage auront été développés ou que de grands modèles de langage existants auront été mis à jour. Prenez le temps d’explorer les modèles offerts.

En quoi les grands modèles de langage peuvent-ils nous être utiles en tant que fonctionnaires?

Les grands modèles de langage se distinguent par leur capacité à générer rapidement un grand nombre de textes. Ils peuvent développer ou résumer un texte déjà écrit, ou en changer le ton. Ils peuvent servir de point de départ à la rédaction d’un document ou à la réflexion sur le contenu d’un courriel ou d’un message sur les réseaux sociaux. Ils peuvent même créer un code source simple!

Quelles sont les préoccupations que soulèvent les grands modèles de langage?

La principale préoccupation en matière de grands modèles de langage est que la responsabilité du contenu généré incombe uniquement à l’utilisateur ou à l’utilisatrice, et non pas au modèle de langage qui a généré le contenu.

Bien qu’il soit tentant de supposer que le contenu généré par les grands modèles de langage est exact et juste, ces outils présentent toutefois de grands défauts :

• Actualité – Les grands modèles de langage cessent leur apprentissage dès leur création. Cela signifie qu’ils génèrent du contenu qui ne tient pas compte des événements récents.
• « Hallucination » – Lorsqu’on demande à un grand modèle de langage de produire un contenu sur lequel il n’est que peu ou pas entraîné, il comblera les lacunes avec les informations les plus similaires dont il dispose, mais sans faire preuve d’incertitude. Ainsi, le contenu semble exact, mais n’est tout simplement pas vrai.
• Biais – Les grands modèles de langage sont un produit des données sur lesquelles ils ont été entraînés. Cela signifie que les biais des données sous-jacentes se reflètent dans le contenu généré.
• Confidentialité – De même, les informations relatives à des personnes identifiables contenues dans les données d’apprentissage peuvent être propagées dans le texte généré. La Loi sur la protection des renseignements personnels impose à la fonction publique des exigences particulièrement strictes en ce qui concerne le traitement et l’exactitude des informations relatives à des personnes identifiables. Si un modèle « hallucine » des détails concernant une personne identifiable, les conséquences sont encore plus graves.
• Exactitude – Si la base d’apprentissage d’un grand modèle de langage comprend des informations erronées, celles-ci peuvent également se retrouver dans le résultat.

Comment le gouvernement du Canada peut-il adopter la technologie liée aux grands modèles de langage?

Les fonctionnaires disposent de cinq options pour accéder aux grands modèles de langage, selon différents niveaux de réalisme :

1. Utilisation d’une option gratuite sur Internet : c’est l’option la plus simple, mais elle ne convient pas lors du traitement de documents qui contiennent des renseignements sensibles.
2. Utilisation d’une interface de programmation d’applications (API) commerciale : certains fournisseurs offrent un accès « privé » aux grands modèles de langage, mais les questions de confidentialité et de sécurité doivent tout de même être confirmées dans l’entente d’approvisionnement.
3. Déploiement à l’interne d’un grand modèle de langage de source ouverte : des modèles plus petits peuvent être hébergés de façon standard, dans des nuages gouvernementaux ou sur des ordinateurs de bureau. Cela permet d’aborder de nombreuses questions et préoccupations relatives à la sécurité et à la protection de la vie privée.
4. Perfectionnement d’un grand modèle de langage : les grands modèles de langage déployés à l’interne peuvent être entraînés en fonction du contenu du gouvernement du Canada. Cette opération est coûteuse et demande beaucoup d’efforts et de calculs, mais les résultats peuvent être justifiés s’ils font l’objet de vérifications.
5. Création d’un grand modèle de langage : afin de contrôler les biais, l’approvisionnement éthique et la sécurité, il est techniquement possible de créer entièrement un grand modèle de langage. Il s’agit toutefois d’une option coûteuse.

Quels sont les défis propres aux gouvernements en ce qui concerne les grands modèles de langage?

L’adoption des grands modèles de langage est particulièrement délicate dans un contexte gouvernemental. L’industrie s’oriente fortement vers des produits en anglais, ce qui pose des problèmes en matière de langues officielles. La trace des données de nombreux modèles n’est pas divulguée, ce qui soulève des questions de licence et d’éthique. Il incombe également à l’utilisateur ou à l’utilisatrice de s’assurer que le contenu généré par le grand modèle de langage n’est pas soumis à des droits d’auteur.

Plus important encore, il est impossible de garantir que le contenu généré par les grands modèles de langage est vrai et logique. Cette responsabilité incombe aux fonctionnaires.

Mise en garde

Lorsqu’une nouvelle technologie arrive sur le marché, il est tentant d’essayer de l’appliquer autant que possible et de voir ce qui convient. Les grands modèles de langage sont des outils passionnants et puissants. Comme tout autre nouvel objet mis à notre disposition, on voudrait l’utiliser tout de suite. Cela dit, il convient de faire preuve de retenue.

Néanmoins, en vous familiarisant avec les grands modèles de langage, vous ajoutez un nouvel élément à votre boîte à outils. C’est un outil qui peut vous aider à mieux comprendre un monde en constante évolution dans lequel les grands modèles de langage et l’IA générative sont adoptés à l’échelle mondiale dans les sociétés et les industries. Les grands modèles de langage peuvent être une solution, ou non. Tout dépend du contexte. Il est toujours préférable de comprendre ce que l’on essaie de réaliser avant d’agir. C’est un domaine dans lequel la réflexion conceptuelle, en tant que pratique et processus, se distingue.

Ressources

• Guide sur l’utilisation de l’intelligence artificielle générative
• Cours | Construire une culture du « design thinking » (DDN225)
• Cours | Le design thinking au service de l’innovation : Brainstorming et idéation (TRN239)
• Cours | Le design thinking au service de l’innovation : Définition d’opportunités (TRN238)
• Cours | Découvrez l’intelligence artificielle (DDN210)
• Article | Aperçu de ChatGPT d’OpenAI