- A Kind of Magic
- Posts
- Utilise un LLM en local
Utilise un LLM en local
À la une : Des étudiants coréens font trembler ElevenLabs

Au menu d’aujourd’hui :
🤝 Des cas concrets vus sur le terrain
🤫 Utilise un LLM en local
🗞️ À la une : Des étudiants coréens font trembler ElevenLabs
📮 4 autres news en bref
💎 5 ressources de la semaine

🤝 Des cas concrets vus sur le terrain
Les meilleurs cas d’usages IA sont ceux qui viennent du terrain. Dans cette section, on t’emmène avec nous au premier rang de cette exploration aux côtés de nos clients.
Depuis quelques semaines, on a de plus en plus de demandes pour créer des solutions intégrées avec WhatsApp et on pense que c’est le sens de l’histoire :
UX ultra-simple (peu de clics, possibilité de laisser des vocaux ou des vidéos)
Accès direct (sur WhatsApp le taux d’ouverture est de 98%)
Voici 2 projets récents que nous avons menés 👇
#1. Assistant WhatsApp connecté à une base de connaissance
Client : Newsletter avec 80k lecteurs.
Problématique : Comment valoriser le contenu existant (2 000+ newsletters) pour apporter encore plus de valeur ?
Solution : Création d’un assistant capable de répondre sur WhatsApp à n’importe quelle question en cherchant dans une base de connaissances de 2 000+ newsletters.
#2. Coach capable de faire un feedback sur des vidéos
Client : Formateur en prise de parole en public.
Problématique : Comment faire gagner du temps aux coachs humains qui font des retours aux apprenants sur leurs prises de paroles ?
Solution : Création d’un coach disponible sur WhatsApp, capable de prendre en entrée un fichier texte / audio / vidéo et de faire un feedback structuré sur le fond et la forme.
Tu as un besoin similaire ou un autre besoin IA ? Parlons-en 🙂
🤫 Utilise un LLM en local
Imagine-toi le cas de figure suivant : tu as un fichier avec des infos client (ex : entretien utilisateur, conversations intercom, transcripts sales etc.) et tu voudrais l’analyser avec un LLM.
Ni une ni deux, tu files sur ChatGPT ou Claude et tu joins ce fichier à ton super prompt.
Une petite voix dans ta tête se demande tout de même si c’est bien raisonnable de partager ces données clients à ChatGPT.
Tu pourrais anonymiser les données. Mais bon, il y a quand même beaucoup de lignes…
Tu regardes par dessus ton épaule, à gauche, à droite.
Tu appuies sur entrée.

Pas mal pour un même généré par ChatGPT-4o non ?
Tu viens de faire une utilisation de l’IA non conforme à la politique de ton entreprise (qui n’existe d’ailleurs peut-être pas).
Des millions de personnes font la même chose chaque jour, on appelle cela le shadow AI.
Pourquoi ce n’est pas idéal ?
Le shadow AI dépasse largement les questions de gestion des données, mais sur ce point précis, partager des données clients avec ChatGPT soulève plusieurs problématiques majeures :
1. La conformité légale : Partager des données clients avec des services tiers comme ChatGPT entraîne des questions importantes liées à la conformité au RGPD.
2. La sécurité des données : Le partage de données sensibles présente un risque de fuite d'informations ou de réutilisation involontaire pour l'entraînement des modèles d'IA.
3. L'enjeu stratégique : Les données sensibles stockées auprès de fournisseurs américains sont susceptibles d’être accessibles par les autorités américaines, en vertu de lois telles que le Cloud Act, même lorsque les données sont physiquement hébergées en Europe.
Face à ces enjeux, anonymiser les données sensibles (clients et entreprise) avant de les transmettre à un modèle d'IA devient indispensable.
Dans la newsletter d'aujourd'hui, je te propose deux méthodes simples et pratiques pour anonymiser tes données avant de les envoyer à un LLM.
1. Utiliser un LLM en local avec LM Studio
Avec cette première méthode, on va voir comment télécharger et utiliser un LLM sur ton ordinateur.
Rends-toi sur https://lmstudio.ai/ et télécharge l’application (pour l’instant uniquement sur mac).
💡 À noter : Si tu es sur windows, tu peux utiliser Ollama.

Ouvre l’application et rends-toi dans l’onglet “Discover” où tu vas pouvoir choisir un LLM à télécharger et utiliser en local.

Quel modèle utiliser ?
Si ton ordinateur n’est pas ultra-puissant, il y a de fortes chances que tu sois assez limité sur le nombre de modèles que tu pourras utiliser en local.
Dans la liste des modèles, classe-les par “best match”, LM Studio prend automatiquement en compte la puissance de ton ordi pour te recommander des modèles.

Les modèles Gemma 3 QAT sont des nouveaux modèles de Google spécialement conçus pour une utilisation en local.
💡 À noter : Si tu peux utiliser un modèle à 7 milliards de paramètres, tu pourras déjà faire pas mal de choses.
Lorsqu’un modèle est trop large pour ton ordinateur, tu verras cet avertissement.

Une fois ton modèle téléchargé tu peux l’utiliser dans l’onglet “chat”.
💡 À noter : Pour cet exemple, j’ai utilisé le modèle Gemma 3 4B QAT. La famille Gemma 3 QAT lancée par Google il y a une semaine est spécialement conçue pour une utilisation en local. Ces modèles utilisent moins de VRAM (GPU) que des modèles normaux pour un même nombre de paramètres :

Voilà le prompt :

Et voilà la réponse :

Les données clients sont bien anonymisées.
2. Utiliser une solution comme bosl.ai
Faire tourner un LLM en local n’est pas une solution idéale :
Il faut un ordinateur très puissant.
C’est compliqué à mettre en place à l’échelle d’une entreprise.
Une fois les données anonymisées, il faut les copier dans le LLM qu’on veut vraiment utiliser.
C’est pourquoi des entreprises commencent à se positionner sur ce créneau avec des solutions clé-en-main.
C’est le cas de Bosl.ai, une entreprise toulousaine avec une forte expertise en IA qui propose une solution qui anonymise les données avant transfert aux différents LLM, le tout de manière sécurisée et confidentielle.
Lorsque j’envoie un prompt :

Il est passé au crible pour voir s’il y a des données confidentielles :

Et il anonymise automatiquement avant l’envoi. Voilà la version qui est vue par ChatGPT :

Et la réponse de ChatGPT :

Ensuite Bosl.ai remplace à nouveau avec les bonnes données dans la réponse affichée :

J’ai échangé avec l’équipe de Bosl.ai, voici quelques infos supplémentaires :
Les prompt sont cryptés et non enregistrés chez bosl.ai (ils sont stockés dans la session locale du navigateur web, c'est à dire sur l'ordinateur de l'utilisateur), rien n'est stocké chez eux.
Bosl.ai peuvent installer la solution on-premise ou sur un serveur dédié.
Ils préparent une version plugin qui permettra de tout faire en local sans passer par un système SaaS.
Pour tester, ça se passe ici.
🗞️ À la une

Cf lien ci-dessus pour des démos
Deux étudiants coréens ont créé en seulement trois mois un modèle de synthèse vocale rivalisant avec les géants du secteur comme ElevenLabs et Sesame, et ce sans aucun financement et avec seulement 1,6 milliards de paramètres.
Le modèle a connu un succès fulgurant, atteignant la 2ème place du classement HuggingFace en moins de 24 heures, démontrant ainsi qu'une petite équipe peut désormais concurrencer les plus grandes entreprises d'IA.

📮 Autres news en bref
La startup Mechanize, soutenue par des leaders tech comme Jeff Dean, vise l'automatisation totale du travail en développant des agents IA capables de remplacer les humains.
OpenAI lance o3 et o4-mini, ses modèles de raisonnement les plus avancés, capables d'intégrer des images dans leur processus de réflexion.
OpenAI enrichit son écosystème avec GPT-4.1 (capable de traiter jusqu'à 1M tokens) et de nouveaux outils pour les développeurs.
Google lance Gemini 2.5 Flash en preview, un modèle hybride de raisonnement qui rivalise avec o4-mini et surpasse Claude 3.5 Sonnet.
💎 Ressources
DeepMind présente sa vision de l'ère de l'apprentissage expérientiel pour l'IA dans un nouveau papier de recherche.
Instagram utilise l'IA pour détecter les adolescents qui mentent sur leur âge.
Guide complet de prompt engineering pour GPT-4.1 avec exemples pratiques.
Gemma 3 devient accessible sur GPU grand public grâce à l'entraînement quantifié (tutoriel du jour).
Article du Guardian sur l'impact potentiel de ChatGPT sur l'intelligence humaine.
Et si vous l’avez manqué, voici notre tutoriel vidéo pour se créer un super assistant sur Claude Desktop avec les serveurs MCP 👇

🎤 À toi le micro
Voilà, c’est la fin de cette 23ème édition de A Kind of Magic, j’espère qu’elle t’a été utile.
N’hésite pas à la partager si c’était le cas.
Dispo pour échanger en réponse à cet e-mail ou sur Linkedin.
Et si tu as un besoin en IA dans ton entreprise, n’hésite pas à prendre rdv pour en discuter.
À jeudi !

Jean-Charles