IA locale ou cloud : définition, matériel et comment choisir en entreprise.

Vous voulez un assistant qui lit vos contrats et vos dossiers clients, et vous hésitez à envoyer ces textes au service d’un éditeur. Les réponses de ce guide viennent des pages de la CNIL, des licences et des documentations d’éditeurs, lues le 14 novembre 2026.

Qu’est-ce qu’une IA locale ?

Une IA locale est un modèle d’IA générative exécuté sur une machine que votre entreprise exploite, poste de travail ou serveur, au lieu du service d’un fournisseur. Vos demandes et vos documents y sont traités sans quitter cette machine.

La CNIL distingue trois modes de déploiement : « sur site », dans un cloud hébergé, ou par des API appelées à la demande. Elle écrit que le choix « dépend du cas d’usage et des données utilisées en entrée ». Le tableau en tire quatre lieux d’exécution, selon l’endroit où tourne le modèle et l’entreprise qui tient la machine.

Un serveur loué chez un hébergeur tient du serveur sur site et du cloud : vous administrez le logiciel, la machine appartient à un tiers, et son contrat se lit comme celui d’un cloud. Choisir ce qui reste dans votre environnement et dimensionner la machine fait partie de notre mission d’IA locale en entreprise.

Comment avoir une IA locale dans l’entreprise ?

Sur un seul poste, une application installée suffit : elle télécharge un modèle et l’exécute sur la machine. Pour une équipe, il faut un serveur d’inférence, un logiciel conçu pour répondre à plusieurs personnes à la fois. Quatre logiciels couvrent ces deux cas :

• Ollama, sous licence MIT : une application pour macOS, Windows et Linux, qui ouvre aussi une API sur le poste.
• LM Studio : une application propriétaire, gratuite au travail depuis le 8 juillet 2025, dont la licence limite l’usage à vos besoins personnels ou internes.
• llama.cpp, sous licence MIT : le moteur d’exécution sur lequel LM Studio s’appuie, avec son format de fichier GGUF.
• vLLM, sous licence Apache 2.0 : une bibliothèque qui sert un modèle à travers un serveur compatible avec l’API d’OpenAI.

Du poste au serveur

Ollama traite par défaut une seule requête à la fois par modèle et place les suivantes en file d’attente. Sa documentation fixe cette file à 512 requêtes, après quoi le serveur répond par une erreur de surcharge. Autoriser des requêtes parallèles multiplie la mémoire de contexte par leur nombre.

vLLM regroupe en continu les requêtes entrantes, et le serveur de llama.cpp annonce un décodage parallèle pour plusieurs utilisateurs. Mistral recommande vLLM pour mettre en production son modèle Mistral Large 4.

Un outil local peut appeler un service distant

Ollama propose des modèles « cloud » lancés depuis la même application. Sa documentation écrit, en anglais, que l’inférence a alors lieu sur le service cloud d’Ollama. Un réglage du fichier de configuration coupe ces fonctions : vérifiez-le sur chaque poste avant d’y traiter un document confidentiel.

Quel modèle choisir, et sous quelle licence ?

Un modèle s’installe chez vous si son éditeur publie ses poids, c’est-à-dire le fichier du modèle, et s’utilise en entreprise si sa licence le permet. Les deux informations se lisent sur la fiche du modèle, chez l’éditeur ou sur Hugging Face. Notre guide sur le grand modèle de langage présente les familles de modèles.

Licences Apache 2.0 et MIT

Le texte de la licence Apache 2.0 accorde une licence mondiale, gratuite et sans redevance pour reproduire, modifier et distribuer l’œuvre. Celui de la licence MIT accorde le droit d’utiliser le logiciel sans restriction, à condition de conserver la notice de droit d’auteur.

Mistral Small 4, Ministral 3 8B, Gemma 4 de Google, Qwen3-8B d’Alibaba et les modèles gpt-oss d’OpenAI sont publiés sous Apache 2.0. Phi-4 de Microsoft est publié sous licence MIT.

Licences à conditions

La licence communautaire de Llama 4, chez Meta, accorde un droit sans redevance d’utilisation, de modification et de distribution, avec des conditions. Passé 700 millions d’utilisateurs actifs par mois, une licence est à demander à Meta, et toute distribution affiche la mention « Built with Llama ». Sa politique d’usage écrit que, pour les modèles multimodaux, ces droits ne sont pas accordés à une entreprise dont l’établissement principal se trouve dans l’Union européenne, sauf comme utilisateur final d’un produit qui les intègre.

Mistral Large 4, sorti le 5 novembre 2026, suit une licence propre à Mistral. Une entreprise qui exploite une activité de modèle fourni en service doit signer une licence commerciale avant tout usage commercial ; cette exigence ne s’applique pas à l’usage interne, défini comme celui qui ne met pas le modèle à la disposition de tiers. D’anciens modèles de Mistral relèvent d’une licence qui les réserve à la recherche.

La CNIL demande de prendre connaissance de la licence d’utilisation et des informations sur les données d’entraînement, « qu’il s’agisse d’un modèle propriétaire ou en source ouverte ».

Quelle mémoire faut-il, pour un ou plusieurs utilisateurs ?

La mémoire nécessaire additionne les poids du modèle, le contexte de chaque conversation ouverte et une réserve. Ce total désigne la machine : il doit tenir dans la mémoire de la carte graphique, ou dans la mémoire unifiée d’un Mac.

La quantification réduit la précision des poids pour alléger le modèle, au prix d’une perte possible de justesse, selon la documentation de llama.cpp. Hugging Face donne l’ordre de grandeur : un modèle de 8 milliards de paramètres occupe environ 16 Go en 16 bits, 8 Go en 8 bits et 4 à 5 Go en 4 bits.

Ces chiffres ne couvrent que les poids. Google précise, pour Gemma 4, que la fenêtre de contexte demande de la mémoire en plus, et chaque conversation menée en même temps ajoute la sienne.

Le tableau reprend les estimations du calculateur de mémoire Dilios, données du 27 septembre 2026, pour des modèles en 4 bits (format Q4_K_M, ou MXFP4 pour gpt-oss) et un contexte de 32 768 tokens. Ce sont des calculs, et non des chiffres publiés par les éditeurs :

Deux repères d’éditeurs recoupent ces estimations : OpenAI indique que gpt-oss-20b tourne dans 16 Go de mémoire, et Google compte 17,5 Go pour charger Gemma 4 31B en 4 bits, hors contexte.

Quelle machine pour quel modèle

Sur un Mac, le processeur et la carte graphique partagent la même mémoire. Le calculateur en réserve les trois quarts au modèle, par hypothèse ; le guide de llama.cpp recommande de ne pas dépasser 70 % de la mémoire totale.

Par défaut, Ollama n’ouvre qu’une fenêtre de 4 096 tokens. Relevez ce réglage avant de juger un modèle sur un long document, puis recomptez la mémoire.

IA locale ou cloud : que deviennent vos données ?

Sur site, vos données restent sur votre machine ; dans le cloud, leur sort dépend du contrat signé avec le fournisseur. Pour des données personnelles ou une documentation sensible, la CNIL écrit qu’« il semble généralement plus opportun et plus sécurisé » de privilégier un déploiement sur site.

La même page reconnaît le coût d’un système sur site et juge qu’« il sera souvent plus aisé de recourir à un système hébergé dans une infrastructure distante ». Elle demande alors un contrat qui précise « les périmètres de responsabilité et les accès autorisés aux données traitées ». Avec une API, ajoute-t-elle, « la maîtrise du système est alors quasi exclusivement dans les mains du fournisseur ».

Ce que quatre éditeurs écrivent

Trois points se lisent dans la documentation d’un éditeur : l’entraînement sur vos données, leur conservation et la région d’exécution. Relevé du 14 novembre 2026, pour les offres professionnelles :

Ces engagements varient d’une offre à l’autre chez un même éditeur : relisez la page de l’offre que vous achetez, pas celle de la marque.

Hors de l’Union européenne

Quand l’hébergement se trouve hors de l’Union ou relève d’un fournisseur non européen, la CNIL demande d’encadrer le transfert des données personnelles. Vers les États-Unis, elle écrit : « Seuls les transferts vers les entités américaines certifiées ne nécessitent pas l’utilisation d’outils d’encadrement des transferts prévus par l’article 46 du RGPD. » Le communiqué du Tribunal de l’Union européenne du 3 septembre 2025 est titré : « le Tribunal rejette le recours visant à l’annulation du nouveau cadre de transfert de données à caractère personnel entre l’Union européenne et les États-Unis ».

Pour les traitements de données les plus sensibles, la CNIL recommande « un prestataire exclusivement soumis au droit européen ». Elle écrit que « la certification SecNumCloud de l’Agence nationale de la sécurité des systèmes d’information (ANSSI) comprend ce critère ».

Un lieu par type de donnée

Rien n’oblige à retenir un seul lieu pour toute l’entreprise. Un tri selon la donnée envoie chaque demande vers le lieu qui lui convient, et le schéma en donne un exemple.

Que ne règle pas une IA locale ?

Une IA locale ne règle ni la justesse des réponses, ni la sécurité du serveur : ces charges passent du fournisseur à votre entreprise, qui garde aussi ses obligations légales.

Justesse et fraîcheur des réponses

La CNIL rappelle que ces systèmes « peuvent générer des résultats inexacts qui peuvent, pourtant, paraître plausibles ». Héberger le modèle n’y change rien, et un modèle téléchargé reste figé à sa date d’entraînement : la fiche de Phi-4, chez Microsoft, arrête ses données publiques à juin 2024.

Un modèle local a l’avantage inverse : il reste disponible tant que vous gardez son fichier, alors qu’un éditeur retire ses modèles cloud. Mistral Medium 3.5 est sorti le 28 avril 2026 et sera retiré le 30 avril 2027.

Sécurité du serveur

Ollama n’écoute par défaut que sur la machine elle-même, et l’ouvrir au réseau est un choix de configuration. Le serveur de llama.cpp ne demande aucune clé d’API par défaut. La documentation de vLLM avertit de ne pas compter sur la seule clé d’API pour protéger l’accès, et demande d’autres mesures de sécurité en production.

Un fichier de modèle vient de l’extérieur : la CNIL signale que les modèles des plateformes collaboratives « peuvent contenir des fichiers corrompus ou des portes dérobées ». Sur un serveur Linux, Ollama se met à jour en relançant son script d’installation, alors que la mise à jour se télécharge seule sous macOS et Windows. Désignez la personne qui s’en charge.

Vos obligations restent les mêmes

Relier le modèle à votre base de connaissance, comme le fait un assistant documentaire, vous rend responsable de ce traitement quand elle contient des données personnelles, écrit la CNIL. Elle ajoute que « c’est l’organisme utilisateur qui engagera sa responsabilité légale en cas de mauvaise utilisation de l’IA par son personnel ». Le règlement européen sur l’IA définit le déployeur comme toute personne ou tout organisme « utilisant sous sa propre autorité un système d’IA ».

Quand le cloud reste préférable

Le local ne convient pas quand le modèle utile dépasse votre machine. Nvidia écrit que certains modèles ne tiennent pas dans la mémoire d’une carte graphique locale et demandent le matériel de grands centres de données ; Mistral recommande son API quand le service local de Mistral Large 4 ne suffit pas.

Il ne convient pas non plus si personne, chez vous, ne peut tenir le serveur à jour. La CNIL situe les risques les plus vraisemblables dans les sauvegardes, les interfaces et les communications, c’est-à-dire autour du modèle.

Questions fréquentes