Comment s’adapter aux enjeux de l’IA en 2024 ?

Découvrez l’interview de Mathieu Changeat, cofondateur Dydu, qui aborde les enjeux de l’IA et la stratégie adoptée par Dydu.

Comment l’IA générative, influence-t-elle actuellement les solutions d’IA conversationnelle de Dydu en 2024 ?

Les IAs génératives ont connu une publicité énorme avec l’avènement de ChatGPT fin 2022, bien qu’existant depuis quelques années déjà. Subitement on se trouvait face à un chatbot qui semblait comprendre tout ce qu’on lui disait et qui restituait des réponses bluffantes de réalisme.

De nombreuses études ont depuis démontré qu’il y a de nombreux biais, erreurs, omissions, dans les réponses de ChatGPT, et des modèles de langage de manière générale. Mais la première bonne impression est restée, et désormais, il n’est plus concevable pour nos clients et prospects de passer autant de temps qu’auparavant à paramétrer son chatbot. Nous les intégrons donc dans notre solution pour que nos chatbots et callbots soient capables de comprendre davantage les questions de nos utilisateurs avec un effort d’administration moindre, mais tout en garantissant la fiabilité des réponses apportées.

Comment Dydu garantit la sécurité des données ?

Nos intégrations ont été réalisées pour que nous puissions utiliser n’importe quel LLM : hébergés dans le cloud (GPT dans Microsoft Azure, Mixtral chez mistral.ai ou vercel.ai, etc.) ou hébergés sur des serveurs OVH maintenus par Dydu (Llama2).

Nos prérequis sont a minima :

• Une solution cloud qui respecte le RGPD (ce qui n’est pas le cas à date pour OpenAI)
• Utiliser des serveurs localisés en Europe

Dans la situation où l’hébergement est assuré par Dydu, nous pouvons garantir les aspects RGPD et localisation en France, même pour les données de santé (HDS). Les données ne sortent pas de l’infrastructure Dydu et aucune donnée n’est utilisée pour l’entraînement des modèles hébergés.

Peut-on se passer de la construction de la base de connaissances ?

Les modèles de langage, même lorsqu’ils sont entraînés sur mille milliards de paramètres, comme c’est le cas pour GPT4, ne sont pas à l’abri “d’halluciner”, c’est-à-dire de donner une réponse totalement inventée et donc fausse. Notre préconisation est une utilisation hybride. Une partie du périmètre de connaissances du bot sera toujours gérée par la base de connaissances dans le Bot Management System et créée manuellement. Une autre partie sera issue de documents déjà existants dans l’intranet ou le site internet du client. Ils servent aussi à mieux comprendre les questions des connaissances créées manuellement, en s’appuyant sur la compréhension du modèle de langage, mais en restituant la réponse créée dans l’arbre de connaissances.

Dans un but de maîtriser au mieux les réponses, il n’est pas envisageable de les laisser répondre à toutes les questions. Nous préconisons donc de gérer dans la base de connaissances Dydu les sujets :

• Sensibles
• Nécessitant une escalade vers un autre canal en fonction de la thématique de la question
• Nécessitant un branchement vers une API (interface de programmation d’application) du SI du client

Il faut également considérer les aspects financiers et même écologiques : chaque requête envoyée à un modèle de langage est coûteuse et implique des ressources énergétiques plus importantes que pour un chatbot Dydu.

Dans le cas de callbots, les LLMs sont à date non éligibles : ils mettent plusieurs secondes à fournir une réponse qui doit ensuite être vocalisée, rendant l’expérience conversationnelle finale non naturelle.

Pourquoi le LLM ne répond pas toujours la même chose à la même question ?

Le modèle est basé sur des réseaux de neurones qui utilisent des méthodes stochastiques, ce qui signifie qu’il peut produire des résultats légèrement différents à chaque fois. De plus, la réponse peut dépendre du contexte de la conversation et de la formulation exacte de la question. La variabilité dans les réponses est donc une caractéristique normale de ce type de modèle.

Que recommandes-tu aux entreprises cherchant à s’adapter aux enjeux de l’IA ?

Restez prudent sur les cas d’usage que vous souhaitez implémenter, en commençant par des tests. Je pense que les IAs peuvent nous être très utiles dans nos différentes tâches quotidiennes, mais il ne faut pas négliger les biais et imperfections, ni le savoir-faire humain.