Le mirage de l’Open Source dans l'intelligence artificielle

Mistral vaut-il 2 milliards de dollars ? Sans doute pas dans l’immédiat. Car pour génial que soit le principe de l’Open Source, le business model est incertain.

••• La version bullet points :

[Je fais toujours trop long, me dites-vous, d’où ce résumé]

• Mistral va chercher à créer un écosystème autour de ses modèles Open Source. Pas certain que cela suffise à justifier une telle valorisation.

• L’idée de rééditer ce qu’un Red Hat avait réalisé avec Linux dans années 1990 ne tient pas à cause de la puissance calcul nécessaire à la création des LLM et qui complique l’équation.

• L’entreprise va sans doute s’inspirer d’OpenAI qui, face aux coûts faramineux des développements des LLM, a créé de profitables modèles payants pour les entreprises et le grand public.

• Un des avantages compétitifs du Français Mistral est son label “souverain” (même si la boîte est capitalistiquement américaine).

• Ses investisseurs parient sur la valeur intrinsèque de l’équipe dans une industrie où le talent est rare et cher.

• Mais Mistral arrive tardivement dans un secteur où The Winner takes all et il lui faudra trouver sa place dans un environnement où les premières places sont chères.  

• • • La version longue 

C’est épatant l’Open Source. On prend un logiciel, on l'utilise gratuitement ; une vaste communauté le fait évoluer, le documente, l’améliore tout en assure la sécurité. C’est une des plus belles itérations de la tech. Ses applications sont innombrables : la plupart des serveurs web tournent par exemple sous Apache ; l’excellent navigateur Firefox est “libre” ; tout comme le langage de programmation Python, ou encore les OS de Linux, la plate-forme WordPress, OpenOffice ( la version “libre” de Microsoft Office) et une multitude de petits logiciels que l’on trouve dans les voitures ou les lave-linge. Même le MacOS a un coeur Open Source.

Pourquoi donc n'avons-nous pas tous souscrit à ce miracle de la gratuité technologique ? Parce qu’un logiciel libre est bien plus complexe à gérer qu’un système commercial qui s’installe et se configure plus facilement. Exemple Linux. En théorie, cette icône de l’Open Source canal historique permet de s’affranchir de la redevance Windows (ou Apple). Dans la pratique, la complexité de sa mise en œuvre est à l’origine d’un joli segment de l’industrie du logiciel. J’y reviens plus loin à propos du business model de l’Open Source. Mais restons d’abord sur l’I.A. 

Lévitation capitalistique

Mistral est un miracle de la French Tech. Une poignée d’ingénieurs de grand talent (des anciens de Meta ou Google DeepMind), des levées de fonds spectaculaires pour un total de 658 millions de dollars selon le décompte de Crunchbase, l’onction suprême du venture capital américain avec des firmes comme Andreessen Horowitz ou LightSpeed Ventures, et donc une valorisation de 2 milliards de dollars. Pour une boîte de 22 personnes. A ce niveau, ce n’est plus de l’entrepreneuriat mais de la lévitation capitalistique.

Le modèle de Mistral est justement l’Open Source appliqué à l’intelligence artificielle. Le principe est identique aux logiciels classiques : on prend le code source, et on l’adapte pour construire des chatbots ou des modèles dédiés à une tâche donnée. Sauf que dans l’I.A. c’est bien plus compliqué. Pour entrainer un grand modèle de langage (LLM) ce qui est le coeur de l’activité de Mistral, il faut des  compétences très recherchées, de vastes jeux de données et une puissance de calcul phénoménale. L’essentiel des investissements consentis par les VC passe donc en priorité dans l’achat ou la location d'infrastructures. 

OpenAI, la firme de Sam Altman qui est en tête de la course de l’I.A. s’est heurtée au problème. Comme son nom l’indique, elle devait à l’origine offrir des modèles ouverts. Mais ses fondateurs se sont pris le mur de la puissance nécessaire pour développer des modèles. D’où le recours à Microsoft qui a investi 13 milliards de dollars, pour l’essentiel en nature avec la mise à disposition de son cloud géant et ses dizaines de milliers de GPU (le type de processeur utilisé en I.A.). Début 2023, un ingénieur de Microsoft basé à Redmond dont les projets internes consommaient beaucoup de ressources, se souvient d'avoir reçu ordre de laisser tomber ses travaux car tout allait être capté par un projet important. Et ce n’est pas fini : la semaine dernière à Davos, Sam Altman a admis qu’en dépit de son accès à l’infrastructure géante de Microsoft, il était “en manque de GPU”. Un aveu hallucinant quand on y pense…

Cette contrainte est à l’origine du changement stratégique d’OpenAI qui a dû se résoudre  à développer des produits payants à destination des entreprises et du grand public – ce qui devrait lui rapporter un chiffre d’affaires d’environ 5 milliards de dollars cette année. Pour le reste, OpenAI n’est pas, loin s’en faut, une entreprise “normale” avec des investisseurs, une cash-machine, et des profits futurs ; sa structure capitalistique est hyper complexe et tient compte de ses besoins gargantuesques en GPU – j’y reviendrai dans une future édition d’Episodiqu.es.

Dans le cas de Mistral (et des autres startups construites sur le modèle de l’Open Source comme Perplexity.ai  – valorisation : 500 millions), les investisseurs, qui ne sont pas Mère Theresa, vont exiger un modèle de revenus. Et la pression risque d’être forte. 

Mistral, une bonne affaire –à terme ?

Selon les critères de la tech, cinq raisons peuvent être invoquées pour justifier cette valorisation stratosphérique de 2 milliards.

1 .⁠ La valeur du talent

Les investisseurs parient sur le fait que la commodity la plus précieuse reste les talents. Cela m’était apparu il y a quelques années lorsque j’étais à Stanford où un ancien de Google, aussi professeur en computer sciences, avait assemblé une équipe d’ingénieurs de haut niveau pour travailler sur un nouveau moteur de recherche. À mon étonnement sur le fait qu’il n’y avait pas le moindre produit en perspective, il avait répondu : “pas un problème ; l’équipe est tellement top qu’elle créera quelque chose qui aura de la valeur”. L’entreprise a été (bien) vendue à Apple. Je crois que c’est Vinod Khosla, un investisseur historique de la Vallée qui disait qu'après 40 ans de venture capital, il ne regardait plus les business plan, mais uniquement les CV des équipes...). Ceux de Mistral sont assurément top. 

2 . Devenir le Red Hat de l’I.A.

Faire de l'argent avec de l'Open Source vise donc à créer son propre écosystème où les développeurs viendront construire des applicatifs et des services sur un environnement théoriquement ouvert et cool, mais dans la pratique ultra-balisé. 

Je reviens un instant sur l’épopée Linux. L'exemple historique le plus connu est Red Hat, qui a développé un vaste écosystème for-profit pour aider les utilisateurs à gérer la complexité de l’environnement Linux. Le logiciel était gratuit, mais tout le reste, les systèmes d’installations et les services, étaient payants. Créé en 1993, Red Hat a été acquis par IBM pour 34 milliards de dollars en 2019. Il est probable que les investisseurs de Mistral ont cela en tête. 

Mais le modèle Red Hat n'est pas nécessairement applicable à l'IA, toujours à cause de la puissance de calcul nécessaire qui complique l'équation économique. Aujourd’hui, si une entreprise d’I.A. n’est pas adossée d’une façon ou d’une autre à un géant de l’infrastructure, sa viabilité est bien plus incertaine (un peu comme une compagnie pétrolière qui ne possèderait pas ses champs).

Il faudra prendre en compte la domination possible de la Big Tech historique : non seulement les Gafam parient aussi sur l’Open Source, mais ils investissent des milliards de dollars dans le développement de chips spécifiques afin de rendre leurs modèles maisons encore plus performants. Et leur capacité d’investissement leur permet d’écraser la concurrence : Meta envisage de disposer d’ici la fin de l’année de 340 000 puces Nvidia H-400. A titre de comparaison Kyutai, le laboratoire d’IA financé par Xavier Niel en a 1000, et il est censé être déjà bien équipé. Mistral lui s’appuie largement sur le Cloud de Google, mais le partenariat n’est pas aussi développé que celui entre OpenAI et Microsoft.  

3 . Mistral ne parie pas uniquement sur l’Open Source

Quand on regarde le benchmark de Hugging Face sur les performances des LLM, on constate plusieurs choses. D’abord les modèles propriétaires sont souvent plus performants que ceux en Open Source. Cela s’explique par le fait qu’ils ont en général plus de profondeur (nombre de paramètres) et qu’ils ont été entraînés et raffinés plus longtemps et sur un plus grand nombre de données. Malgré tout, les modèles Open Source performent remarquablement bien comme le montre le tableau ci-dessous des 16 premiers LLM (ELO rating).

Mais le plus intéressant est que Mistral a déjà au moins un modèle propriétaire (Mistral Medium, rang 5) ce qui préfigure le développement d’une branche commerciale avec des modèles payants (sans cela, me faisait remarquer un professeur d’I.A. de Stanford, ils ne sont qu’une boîte de consulting qui ne vaut pas 2 milliards). 

Mistral devrait donc logiquement jouer sur les deux systèmes : de l’Open Source afin de mettre les chariots en cercle autour d’un écosystème puissant – et souverain en plus ce qui n’est un mince avantage, car Mistral va pouvoir compter sur la commande publique – et dans le même temps proposer des solutions payantes.  

5 . Les précédents

L’histoire récente de la tech regorge d’exemples où des valorisations initiales ont semblé extravagantes. Dans l’I.A., beaucoup ont ricané lorsque Microsoft a mis au total 13 milliards pour acquérir la moitié d’Open AI. Aujourd’hui, celle-ci table sur une valorisation de 100 milliards. Microsoft a déjà fait plus de quatre fois sa mise (pratiquement sans sortir de cash en plus, puisque l’essentiel de l’investissement est consenti sous forme d’accès à son cloud).  

Mais la grande différence par rapport à Mistral et aux autres est qu’OpenAI a bénéficié de l’avantage du first-mover dans cette industrie. Or le podium est des plus étroits dans l'intelligence artificielle. —

Merci pour votre temps. Excellente fin de weekend.

— frederic@episodiqu.es