Retour sur le lancement de cedille.ai, notre dernier projet en interne

Au départ l’idée nous est venue lorsque nos ingénieurs en Machine Learning, spécialisés dans le “traitement du langage naturel” (NLP) ont remarqué que de grands modèles de langue étaient disponibles principalement en anglais ou en chinois, mais qu’aucun n’était disponible en français. D’autre part, nous discutions déjà avec des professionnels des médias et des clients existants pour générer des textes ou réécrire des articles. Après avoir testé les modèles d’IA existants, nous avons constaté que les résultats étaient effectivement insatisfaisants, surtout en français ou en allemand. Le modèle le plus connu et le plus pertinent pour la langue française à l’époque ne comptait que 1,5 milliard de paramètres (finalement plutôt petit comparé à GPT-3 en anglais, avec ses 175 milliards de paramètres). 

 

Nous avons donc saisi cette opportunité et délivré une solution en un temps record en mêlant les compétences de nos spécialistes en Machine Learning, design UX/UI, développement front-end et marketing digital. Cedille voyait ainsi le jour et fournissait de meilleurs résultats que GPT-3 en français, une chose exceptionnelle puisque le modèle est basé sur GPT-J avec ses 6,5 milliards de paramètres.

 

Le niveau de toxicité du texte généré est une des limites présente chez les modèles actuels (à savoir si le contenu généré peut être perçu comme offensant ou inapproprié). Comme le montre nos benchmarks, Cedille est en fait moins toxique que GPT-3 sur ce point. Bien entendu, la prévention de la toxicité est un travail continu et nous continuons d’améliorer le score de toxicité de notre modèle, car aucun modèle n’est jamais complètement “non toxique”.

Les plus grands modèles de langue sont actuellement plutôt entraînés en anglais. Comme mentionné précédemment, GPT-3, le plus grand modèle multilingue, compte ainsi à lui seul 175 milliards de paramètres. Outre le français, d’autres langues européennes ne disposent pas de modèles de langue plus importants, ce qui signifie que la plupart d’entre elles s’appuient sur les modèles GPT-2 et 3. Le plus naturel pour nous était donc de commencer par le français.

Notre modèle a été lancé le 9 novembre 2021. La réaction du marché à ce lancement a dépassé toutes nos attentes! Des milliers de personnes ont testé le modèle, ont tweeté à son sujet et Cedille a même fait l’objet de nombreux articles et émissions sur Heidi News, 24heures, 20minutes, Bilan et Startupticker parmi les médias suisses. Le projet a même été mentionné sur Radio-Canada, une station de radio québécoise. Cedille a également été présenté par plusieurs influenceurs Twitch et Youtube dans le domaine tels que Science Etonnante, MonsieurPhi, MiCode, et Yannic Kilcher, représentant des millions de vues.

Ce premier modèle lancé par Coteries en novembre a connu un énorme succès : près de 20’000 utilisateurs se sont déjà inscrits en ligne, générant jusqu’à présent plus d’un million de contenus, que ce soit par le biais de la plateforme en ligne ou de l’API lancée en décembre. Cedille s’est déjà imposé comme une alternative qualitativement supérieure aux modèles GPT-3 ou GPT-J d’OpenAI.

Le modèle français n’est qu’une première étape et nous publierons bientôt notre modèle allemand. L’un de nos objectifs est de lancer un modèle de référence dans plusieurs langues européennes. Les prochaines pourraient être l’espagnol, l’italien ou le portugais.

Nous estimons que la recherche est un point important en Machine Learning. C’est pourquoi nous avons publié Cedille en modèle open-source. Chercheur, étudiant ou professionnel du domaine peut accéder librement à notre code directement sur Github ou sur Huggingface.

Tout le monde peut également accéder à une plateforme de test pour comprendre et essayer les compétences de Cedille. Il suffit d’aller sur la plateforme web à disposition et de commencer à générer des textes. Si vous manquez d’idées sur ce que vous voulez essayer, jouez simplement avec nos différents exemples!

Notre modèle peut également être fourni avec une licence et installé dans une infrastructure propre, contrairement à GPT-3. En quoi est-ce pertinent? Installer Cedille sur vos propres serveurs est un moyen de vous conformer à des règles strictes en matière de confidentialité comme la GDPR. C’est particulièrement pertinent pour les banques, les assurances ou les offices gouvernementaux qui ne peuvent pas utiliser de services basés sur le cloud.

Le moyen le plus simple d’exploiter librement tout le potentiel de Cedille est de demander un accès à notre API. L’accès à l’API de Cedille permet à quiconque d’intégrer le modèle dans ses propres applications. La connexion de votre application à notre API présente les avantages suivants :

• une simplicité d’intégration
• un accès continu à la dernière version de notre modèle
• la génération de textes plus longs
• plus de contextes

Demandez votre accès à l’API et parlez-nous de votre projet !