Quelle IA faire tourner en local ? Guide complet 2026

Chez Emelia, nous traitons chaque jour des milliers de données de prospection B2B : emails, numéros de téléphone, profils LinkedIn, historiques de conversations. La confidentialité de ces données est au cœur de notre métier. Quand un de nos utilisateurs connecte son compte LinkedIn ou importe une base de prospects, il nous fait confiance. Faire tourner certains traitements IA en local, sans jamais envoyer de données sensibles vers un serveur tiers, est devenu un enjeu stratégique pour nous, et pour toute entreprise qui manipule des données personnelles. Ce guide est né de nos propres tests et de dizaines d'heures de recherche pour répondre à la question que tout le monde se pose : quel modèle d'IA peut vraiment fonctionner sur mon ordinateur ?

Le paysage a radicalement changé. En 2023, à peine 12 % de l'inférence IA en entreprise se faisait en local ou en edge. En 2026, ce chiffre atteint 55 % selon Renewator. Ce basculement n'est pas un hasard : il est porté par cinq forces convergentes.

La vie privée, d'abord. Quand vous faites tourner un modèle sur votre machine, aucune donnée ne transite vers un serveur externe. Pas de risque de fuite, pas de zone grise RGPD. Pour un outil de prospection comme Emelia, cela signifie pouvoir analyser des données de prospects sans jamais les exposer. Le coût moyen d'une violation de données atteint 4,44 millions de dollars, un chiffre qui fait réfléchir.

Le coût, ensuite. Un abonnement ChatGPT Plus revient à 20 dollars par mois par utilisateur. À l'échelle d'une équipe de 50 personnes, cela représente 12 000 dollars par an, rien que pour un usage basique. Les entreprises qui consomment massivement des tokens via API (15 000 à 50 000 dollars par mois) rentabilisent un serveur local en quelques mois. SitePoint a calculé un point de rentabilité autour de 2 à 3 millions de tokens par jour face à GPT-4.1.

L'indépendance. Un modèle local fonctionne sans internet. Pas de panne OpenAI un mardi matin, pas de rate limit qui bloque votre pipeline d'automatisation à 3 heures du matin. La latence chute à moins de 300 ms en local contre 500 à 1 000 ms via le cloud.

La liberté d'expérimentation. Pas de compteur de tokens, pas de censure, pas de filtre. Vous pouvez tester, fine-tuner, casser et recommencer sans jamais sortir votre carte bancaire.

La souveraineté. Les gouvernements européens et asiatiques investissent massivement dans l'IA locale, avec une croissance de 140 % par an. Quand vos données restent sur votre territoire, vous restez maître du jeu.

C'est la première question à se poser, et la réponse est simple : tout dépend de la taille du modèle que vous visez. Voici le tableau de référence, en quantification Q4_K_M (le standard de la communauté), avec un contexte de 8 192 tokens :

Source : LocalLLM.in

Le point crucial : pour les LLM, c'est la bande passante mémoire qui détermine la vitesse, pas la puissance de calcul brute. Un GPU avec beaucoup de VRAM mais une bande passante faible sera lent. C'est pourquoi la RTX 5090 (32 Go GDDR7, 1,79 To/s de bande passante) est devenue le sweet spot pour les modèles 30 à 70B selon Fluence.

Ne désespérez pas si vous n'avez pas de carte graphique dédiée. Grâce à llama.cpp, un modèle 7B en Q4 tourne à environ 3 à 8 tokens par seconde sur un CPU moderne 8 cœurs. C'est lent, mais suffisant pour de l'analyse de documents ou du résumé de texte. La DDR5 aide : elle offre environ le double de la bande passante de la DDR4.

L'architecture Apple Silicon change la donne grâce à sa mémoire unifiée. Le CPU et le GPU partagent le même pool de RAM à haute vitesse, ce qui signifie que toute la mémoire est disponible pour le modèle, sans goulot d'étranglement PCIe.

Source : SitePoint, Mac vs PC 2026

Le fait marquant : un MacBook Pro M3 Max 96 Go est le seul appareil grand public capable de faire tourner un Llama 3 70B sur une seule machine. Une RTX 4090 à 2 000 euros ne peut pas, faute de VRAM suffisante.

Le choix ne manque pas en 2026. Voici les familles de modèles qui comptent, avec leurs forces et leurs exigences.

Le Llama 3.3 8B est le couteau suisse de l'IA locale : 6 Go de VRAM, environ 40 tokens par seconde sur une RTX 4080, et une qualité suffisante pour la plupart des tâches quotidiennes. Son grand frère, le Llama 3.3 70B, exige 40 Go de VRAM minimum mais offre un raisonnement nettement supérieur. Le Llama 4 Scout (109B, 17B actifs en MoE) propose un contexte délirant de 10 millions de tokens, mais reste réservé aux configurations extrêmes. Licence commerciale jusqu'à 700 millions d'utilisateurs actifs mensuels. Source : Till Freitag

La famille la plus dynamique de 2026. Le Qwen3 7B affiche le meilleur score HumanEval de sa catégorie (76.0) et gère plus de 90 langues. Le Qwen3 32B (22 Go de VRAM) offre un excellent rapport qualité/taille. Le Qwen 3.5 9B, sorti récemment, est plébiscité sur Hacker News pour le tool use et l'extraction d'information. Le tout sous licence Apache 2.0, sans restriction commerciale. Source : SitePoint

Un acteur européen basé à Paris, ce qui compte pour l'argument RGPD. Le Mistral Small 3 7B est le plus rapide à l'inférence, environ 50 tokens par seconde sur 16 Go de VRAM. Le Mixtral 8x7B, architecture MoE pionnière, nécessite environ 26 Go mais délivre la qualité d'un modèle bien plus gros. Licence Apache 2.0. Source : Till Freitag

La spécialité de Microsoft : faire beaucoup avec peu. Le Phi-4-mini 3.8B est le seul modèle véritablement viable sur 8 Go de RAM, à 3,5 Go de VRAM. Parfait pour un laptop sans GPU dédié. Le Phi-4 14B monte en qualité pour le hardware milieu de gamme. Licence MIT. Source : Clarifai

Le Gemma 3 1B est extraordinairement compact (0,5 à 2 Go) et fonctionne même en CPU-only. Le Gemma 3 27B est multimodal (texte et image) et excellent en multilingue. Source : Local AI Zone

Le DeepSeek-R1-Distill-Qwen-7B apporte le raisonnement chaîne de pensée sur du hardware grand public (8 Go de VRAM). Fort en maths et en code. Le modèle complet R1 (671B) nécessite 398 Go de RAM en Q4, hors de portée du grand public. Licence MIT. Source : Jan.ai

Le Nemotron 3 Nano (30B, 3B actifs) est spécialement optimisé pour les agents autonomes, avec un contexte d'un million de tokens. Quatre fois plus rapide que son prédécesseur. Source : NVIDIA

Avoir un bon modèle ne suffit pas : il faut un outil pour le faire tourner. Voici les principales options en 2026.

Le plus populaire. Construit sur llama.cpp, il permet de lancer un modèle en une seule commande : ollama run llama3.3. Plus de 100 modèles optimisés, une API compatible OpenAI sur localhost:11434, et un support multi-plateforme (Windows, macOS, Linux). Idéal pour intégrer un LLM dans une application, un script ou un pipeline CI/CD. Sa faiblesse : pas d'interface graphique.

L'outil le plus accessible. Une interface graphique soignée avec un navigateur de modèles intégré (recherche directe sur HuggingFace), des sliders pour ajuster les paramètres, et un chat immédiat. Le support Vulkan lui donne un avantage sur les GPU Intel et AMD intégrés, souvent plus rapide qu'Ollama dans ces configurations. Selon Zen Van Riel, il est parfait pour les utilisateurs non techniques. Sa faiblesse : environ 500 Mo d'overhead, un seul modèle à la fois, et il n'est pas open source.

Le moteur sous-jacent que les deux précédents utilisent. C/C++ pur, aucune dépendance Python, optimisé pour le CPU (AVX2, NEON), Metal, CUDA et ROCm. Il offre un contrôle total, y compris l'offloading partiel GPU/CPU pour les modèles trop grands. Guide technique par The AI Merge.

Le standard quand vous devez servir un LLM à plusieurs utilisateurs simultanément. Le système PagedAttention réduit la fragmentation mémoire de plus de 50 % et multiplie le débit par 2 à 4. Requiert principalement NVIDIA. Source : Digital Applied

Une interface type ChatGPT, 100 % hors ligne, sans télémétrie. Les modèles sont étiquetés « fast », « balanced » ou « high-quality ». Parfait pour un usage quotidien simple et confidentiel.

Source : comparatif Glukhov.org

Avant de vous lancer, une question reste en suspens : votre machine peut-elle réellement faire tourner le modèle qui vous intéresse ? C'est exactement ce que résout CanIRun.ai, un outil en ligne gratuit créé par le développeur espagnol midudev (Miguel Ángel Durán).

Le principe est élégant : vous ouvrez le site dans votre navigateur, et il détecte automatiquement votre GPU (via WebGL et WebGPU), votre CPU et votre RAM (via l'API Navigator). Aucune donnée n'est envoyée à un serveur, tout tourne côté client, construit avec le framework Astro. Les détails techniques sont documentés sur canirun.ai/why.

L'outil compare ensuite votre matériel à une base de données d'environ 40 GPU (NVIDIA, AMD, Intel) et 12 puces Apple Silicon, puis attribue un score de compatibilité (S, A, B, C, D ou F) à chacun des 50 modèles référencés. La formule intègre la vitesse estimée (basée sur la bande passante mémoire), la marge mémoire disponible et un bonus qualité.

L'outil a fait sensation lors de son lancement le 13 mars 2026, récoltant 899 points sur Hacker News avec environ 235 commentaires. Le consensus de la communauté : c'est surtout utile pour décider quel matériel acheter avant d'investir. Comme l'a résumé TopAIProduct, l'outil a touché un nerf chez les passionnés d'IA locale.

Sur X, @pamelafox a noté : « canirun.ai looks at your OS and figures out what SLMs run well/decent/barely. Seems accurate for my 16GB RAM Mac. »

Limites à connaître : les estimations sont conservatrices (plusieurs utilisateurs HN rapportent que leur matériel fait mieux que prévu), les modèles MoE comme Mixtral sont mal évalués (le scoring traite tous les paramètres comme actifs), et certains GPU sont mal détectés. C'est un outil d'orientation, pas une garantie de performance.

Il existe aussi un CLI Python companion (pip install canirun) qui analyse les configurations depuis HuggingFace Hub et calcule les besoins mémoire en détail.

La quantification est le concept clé qui rend l'IA locale accessible. Sans elle, un modèle 7B pèse environ 14 Go en précision native (FP16). Avec la quantification Q4_K_M, il descend à 3,8 Go. Voici comment ça fonctionne.

Un modèle LLM est essentiellement une collection géante de poids, des nombres décimaux. En précision complète, chaque poids utilise 16 bits (2 octets). La quantification réduit cette précision à 8, 5, 4 ou même 2 bits. Moins de bits signifie un fichier plus petit et moins de mémoire nécessaire, avec une perte de qualité progressive mais souvent imperceptible.

Le format standard pour les modèles quantifiés locaux est le GGUF (GPT-Generated Unified Format), créé par le projet llama.cpp. Quand vous voyez un fichier nommé model-Q4_K_M.gguf, voici ce que chaque partie signifie :

• Q = quantifié

• 4 = 4 bits par poids (le chiffre peut aller de 2 à 8)

• K = K-quant, une méthode de quantification par blocs avec facteurs d'échelle

• M = taille de groupe Medium (S = petits groupes plus précis, L = grands groupes plus compacts)

Le préfixe IQ (comme IQ4_XS) indique une quantification par importance : les poids les plus critiques du modèle sont préservés avec plus de précision. Guide détaillé sur Toni Sagrista

La règle d'or : choisissez toujours le plus grand modèle qui rentre dans votre mémoire, même à une quantification plus agressive. Un Qwen3 14B en Q3 battra presque toujours un Qwen3 7B en Q8. Ne descendez jamais sous Q3 sans avoir testé la qualité sur vos cas d'usage réels.

La réponse dépend de votre volume. SitePoint a publié une analyse TCO détaillée sur 12 mois :

Pour un usage léger, le cloud reste imbattable. Un abonnement ChatGPT Plus à 20 dollars par mois coûte 240 dollars par an, moins cher que n'importe quel investissement matériel. Mais au-delà de 2 à 3 millions de tokens par jour, le local devient rentable sur 12 mois. À 50 millions de tokens par jour, l'économie est massive.

Pour les particuliers, le Mac Mini M4 Pro 64 Go (environ 1 400 euros) représente le meilleur rapport qualité/prix pour un usage régulier. Il tient environ 11 à 12 tokens par seconde sur Qwen 2.5 32B.

Pour la prospection B2B, l'argument n'est pas que financier. Quand vous analysez des données de prospects avec un LLM local, rien ne quitte votre infrastructure. Pour un outil comme Emelia, qui gère des données sensibles de prospection, c'est un avantage décisif.

L'IA locale n'est pas une solution miracle. La vitesse reste inférieure au cloud (10 à 50 tokens par seconde contre 100 à 200 côté cloud). Les modèles les plus puissants, GPT-5.4 ou Claude Opus 4.6, restent inaccessibles en local. Le setup initial demande un minimum de compétences techniques, même si des outils comme Ollama et LM Studio ont considérablement abaissé la barrière. La consommation électrique est à prendre en compte : une RTX 4090 tire 350 à 450 W sous charge, contre 30 à 45 W pour un Mac Mini M4. Et les mises à jour sont manuelles : il faut surveiller les sorties sur HuggingFace et télécharger les nouveaux modèles soi-même. Source : Neil Sahota

Si vous n'avez jamais fait tourner un modèle en local, voici le chemin le plus court :

1. Allez sur CanIRun.ai pour vérifier ce que votre machine peut supporter.

2. Installez Ollama (une ligne de commande) ou LM Studio (interface graphique).

3. Lancez un premier modèle : ollama run qwen3:7b ou cherchez « Qwen3 7B » dans LM Studio.

4. Testez sur vos propres cas d'usage : résumé de documents, analyse de code, rédaction, traduction.

5. Si vous avez besoin de plus de puissance, consultez le tableau matériel ci-dessus et montez en gamme.

L'IA locale n'est plus réservée aux passionnés de Linux avec trois GPU dans leur tour. En 2026, un MacBook Pro, un PC gamer ou même un Mac Mini suffit pour disposer d'un assistant IA privé, rapide et gratuit. La question n'est plus « est-ce possible ? » mais « quel modèle est le mieux adapté à votre machine ? ». Et maintenant, vous avez la réponse.