Quel avenir pour les LLMs ?

Dans la deuxième partie de notre série “Focus IA Générative”, nous avons vu comment les entreprises peuvent intégrer les modèles de langage de façon efficace sans penser que les LLMs vont résoudre tous les problèmes… En effet, bien qu’ils offrent des capacités impressionnantes, les modèles de langages doivent être utilisés pour des tâches ciblées, où leur valeur ajoutée est réelle. 

Cet article explore ainsi les limites et les usages actuels de l’IA générative, en examinant les contraintes techniques, écologiques, économiques et légales, ainsi que les défis qui en découlent. Découvrez comment intégrer ces technologies de façon responsable, afin de maximiser leur potentiel sans tomber dans la surenchère en (re)découvrant la deuxième partie : Limites, usages et défis de l’IA générative.

Le marché actuel de l’IA générative

Les fournisseurs de LLMs

Le marché de l’IA générative est en pleine expansion avec des acteurs majeurs comme Microsoft, Amazon, Meta, et Google qui investissent de grosses sommes dans le développement de ces technologies.  

• Microsoft a pris une avance notable en investissant massivement dans OpenAI, le créateur de modèles de langage comme GPT-4. Avec un engagement estimé à plus de 13 milliards de dollars, Microsoft intègre désormais les capacités d’OpenAI dans ses produits phares, notamment la suite Office (via Copilot) et sa plateforme cloud Azure, renforçant ainsi son positionnement dans l’IA générative. 

• Amazon, de son côté, a annoncé un partenariat stratégique avec Anthropic, un acteur clé du secteur, à travers un investissement pouvant atteindre 4 milliards de dollars*. Cet accord permet à Amazon de renforcer son offre cloud avec des solutions basées sur des modèles d’IA avancés, tout en soutenant le développement de Claude, le modèle d’Anthropic.

   

• Meta et Google, deux autres piliers américains, investissent également des milliards dans cette technologie. Meta développe ses propres modèles open source, comme LLaMA, pour démocratiser l’accès à l’IA générative, tandis que Google mise sur Bard et sa plateforme Vertex AI pour rivaliser avec les solutions d’OpenAI et de Microsoft.  

Il est frappant de constater que ces quatre acteurs dominants sont tous basés aux États-Unis, reflétant l’hégémonie américaine dans ce domaine technologique. Cette situation soulève des questions sur la souveraineté numérique et la capacité d’autres régions, comme l’Europe, à se positionner face à ces mastodontes.

Apple, quant à lui, se distingue avec sa stratégie : on ne parle plus de “Artificial Intelligence” mais plutôt de “Apple Intelligence”*. Disponible actuellement sur iOS 18, c’est-à-dire sur les Iphones 15 Pro minimum*, ils utilisent ce qu’on appelle les MLMs (Medium Language Models) comme Ferret*, OpenELM*, et DCLM-7B*, pour proposer des solutions d’IA compactes et centrées sur des cas d’usage spécifiques. Contrairement aux grands LLMs, ces modèles sont adaptés pour exécuter directement des tâches localisées sur les appareils Apple. Cette approche minimise la dépendance aux serveurs distants pour les requêtes simples*, tout en laissant les tâches plus complexes aux modèles d’OpenAI* lorsque nécessaire.

Les puces GPU, le nerf de la guerre

Un autre facteur clé sur le marché est l’utilisation des puces GPU, essentielles pour l’entraînement des LLMs. Nvidia* domine ce segment, ayant brièvement surpassé la capitalisation boursière d’Apple et de Microsoft en 2024*. La concurrence s’active face à cette demande et certains clients comme Microsoft, développent leurs propres puces IA*. 

Pour se donner une idée de l’importance des puces GPU, Llama 3.1, qui est le premier modèle de LLM mis en libre-service sur le marché, a nécessité une consommation de 16 000 puces GPU H100 pour l’entraîner ce qui revient à un coût global d’environ 500M€. 

La taille du marché

Estimé à 5,2 milliards de dollars* en 2024, le marché de l’IA marque une augmentation de +7,5% par rapport à 2023. Ainsi, la taille du marché est colossale et pourrait même atteindre 100 milliards d’ici 2028*. Pourtant, contrairement aux apparences, la rentabilité reste un défi : OpenAI et Anthropic par exemple, affichent encore d’importantes pertes annuelles*. Les débuts de Microsoft Copilot ont également illustré les défis financiers de l’IA générative avec des premières versions dont les coûts dépassaient les revenus générés*. En parallèle, certains secteurs, notamment le conseil, en profitent pleinement. Par exemple, IBM a enregistré un gain de 1 million de dollars* dans sa branche conseil grâce à l’IA générative, un signe de l’impact positif de ces technologies pour les entreprises qui les intègrent de manière stratégique.

Le Futur des LLMs

Bulle ou pas bulle ?

Alors que les investissements affluent, une question persiste : l’IA résoudra-t-elle des problèmes à hauteur des 1 000 milliards de dollars investis ? Les « Magnificent 7 » c’est-à-dire Apple, Nvidia, Alphabet, Meta, Microsoft, Amazon et Tesla – consacrent des milliards à des projets d’IA, malgré un écart significatif entre les coûts d’exploitation et les revenus actuels. Selon la courbe du Hype Gartner, nous avons atteint le sommet de la bulle, mais ces géants disposent tout de même de bilans solides pour soutenir l’essor et la rentabilité future de l’IA.

Source : Courbe du hype de Gartner

Autres pistes d’exploration autour des modèles des LLMs

La création de modèles de langage performants devient de plus en plus complexe et coûteuse. En ce sens, l’attention se porte désormais vers des solutions plus petites et spécialisées, plutôt que de continuer à développer des LLMs de plus en plus volumineux. 

Voici quelques axes d’innovation à considérer :

1. Des modèles compacts : les SLMs* (Small Langage Models) et MLMs* (Medium Langage Models) sont à explorer, pour offrir des performances ciblées tout en réduisant les coûts. Des entreprises comme Apple (avec l’intégration de modèles dans les iPhones*) et Microsoft (avec phi3*), tournent leur attention vers ce type de modèles.
2. Des modèles spécialisés : Axés sur des tâches précises afin d’offrir une efficacité et rentabilité accrues, ces modèles sont conçus pour des secteurs spécifiques. Exemple :
   – Meditron*, conçu par Meta, pour aider les professionnels de santé à prendre des décisions cliniques et à établir des diagnostics.
   – Florence2*, pour la reconnaissance d’images.
   – Spreadcheet*, pour le traitement des données dans des tableurs.
3. Modèles multi-modaux* : Capables de traiter texte, image et son, ces modèles permettent des applications plus riches, comme l’analyse d’images médicales avec descriptions textuelles ou l’interprétation audio pour la sécurité.
4. Génération de code améliorée* : Les LLMs évoluent pour produire du code plus précis et optimisé, accélérant ainsi le développement logiciel et soutenant les équipes techniques.
5. Sécurité et confidentialité renforcées* : De nouvelles approches émergent, comme la décentralisation des données et le chiffrement avancé, afin de garantir la confidentialité et réduire les risques d’utilisation abusive des données traitées par les modèles.
6. Personnalisation* : L’adaptation aux besoins spécifiques des entreprises rend les modèles plus pertinents et accroît leur efficacité pour des applications ciblées.

Google & l’industrie de l’IA générative

L’industrie de la recherche en ligne est en pleine mutation sous l’influence croissante de l’IA générative. Google reste malgré tout le leader mondial avec plus de 90 %* de parts de marché, mais fait face à une concurrence croissante de moteurs alternatifs (DuckDuckGo, Baidu, Yandex…). L’essor des LLM, notamment avec ChatGPT, a modifié l’industrie, incitant même Bing à intégrer cette technologie pour renforcer sa position. Malgré des revenus publicitaires toujours élevés, Google voit une baisse de ses profits sur ses sites partenaires, signe d’une possible évolution vers des technologies de recherche basées sur l’IA. Face à cette révolution, les investissements dans l’IA générative ont explosé, avec 13 milliards de dollars investis en 2023, redéfinissant le paysage de la recherche en ligne et obligeant les géants à s’adapter.

Dydu et l’IA générative

En combinant l’expertise de Dydu avec les capacités des LLMs, nos solutions parviennent à surmonter certaines limitations actuelles de ces modèles, telles que la fiabilité des réponses, l’absence de capacité à demander des précisions ou encore les coûts et délais de traitement. Cette synergie maximise leur potentiel tout en répondant aux exigences opérationnelles et stratégiques. Chez Dydu, nous croyons en une approche hybride, où la gestion de la base de connaissances d’un bot est associée à la puissance de génération de texte d’un LLM. 

Nos utilisations incluent : 

• La création de bases de connaissances : nous utilisons les modèles de langages pour générer des bases de connaissances plus rapidement, à partir de base de données, pour faciliter leur enrichissement et leur mise à jour continue.
• Le NLU parallèle : le Natural Language Understanding (NLU) est une technologie clé pour comprendre et analyser les intentions des utilisateurs. Nous combinons ainsi les algorithmes de Dydu avec les capacités des LLMs, pour améliorer la compréhension des requêtes complexes ou ambiguës tout en augmentant la précision des réponses.
• La méthode RAG : cette méthode consiste à enrichir la génération de texte par les LLMs en les connectant à des bases de données ou des sources d’information spécifiques. Avant de produire une réponse, le modèle récupère des données fiables et pertinentes dans une base de connaissances dédiée.

Cela permet ainsi d’avoir des réponses plus précises, actualisées et pertinentes pour nos utilisateurs.

À travers notre positionnement, nous incitons nos collaborateurs à une utilisation raisonnée de ces technologies, en veillant à limiter leur empreinte carbone et à en maximiser l’efficacité économique pour nos clients.

Alors que le marché des LLMs évolue, nous restons attentifs aux enjeux écologiques et financiers de l’IA générative. Avec une intégration ciblée de l’IA générative, nous nous assurons de répondre de façon précise et personnalisée aux besoins spécifiques de chacun de nos clients.

👉 Pour rédécouvrir les premières parties de la série “Focus IA Générative” : 

• Partie 1 : Découverte des fondamentaux des LLMS
• Partie 2 : Usages et défis de l’IA générative
  

(Veille et restitution de Mathieu Changeat)