Calculateur IA localeQuelle machine pour faire tourner votre modèle ?

La mémoire décide d’abord : elle doit contenir les poids du modèle, le cache de la conversation et une petite réserve pour le logiciel. La bande passante mémoire fixe ensuite la vitesse de réponse. Une carte graphique récente suffit pour un modèle de 8 à 30 milliards de paramètres quantifié ; au-delà, il faut une carte professionnelle, un Mac à mémoire unifiée ou plusieurs GPU.

En Q4_K_M, les poids de Llama 3.3 70B occupent environ 39,8 Go. Avec 32 768 tokens de contexte, il faut compter 50,8 Go au total : une RTX 4090 ou une RTX 5090 seule ne suffit pas, une RTX PRO 6000, une H100 ou un Mac Studio 128 Go conviennent. Avec 8 192 tokens, le total descend à 43,3 Go et une L40S de 48 Go passe, sans grande marge.

Oui. Un Mac mini ou un Mac Studio partage sa mémoire entre le processeur et le GPU, et macOS en réserve par défaut environ 75 % au GPU sur les machines de 64 Go et plus : un Mac Studio 128 Go dispose d’environ 96 Go pour le modèle. La bande passante, de 273 à 1 200 Go/s selon la puce, fixe la vitesse de réponse. La lecture de longs documents reste en général plus lente que sur une carte NVIDIA haut de gamme.

C’est un format de quantification de llama.cpp, utilisé par Ollama et LM Studio. Chaque poids est stocké sur 4,85 bits en moyenne au lieu de 16 en BF16 : le fichier est environ trois fois plus léger. La perte de qualité mesurée reste faible sur les grands modèles, mais elle se vérifie sur vos propres tâches.

Pour chaque token du contexte, le modèle garde des clés et des valeurs dans chacune de ses couches : c’est le cache KV. Avec Llama 3.3 70B en F16, cela représente 320 Ko par token, soit 40,0 Go pour 131 072 tokens. Les architectures récentes réduisent ce coût : fenêtres glissantes chez Gemma et gpt-oss, couches hybrides chez Qwen3.5 et ses successeurs, cache compressé MLA chez DeepSeek et Mistral Small 4.

Un modèle dense utilise tous ses paramètres pour chaque token. Un modèle MoE, pour mixture of experts, n’en active qu’une partie : gpt-oss-120b stocke 116,8 milliards de paramètres mais n’en utilise que 5,1 par token. Il demande donc la mémoire de sa taille totale, mais il répond bien plus vite qu’un modèle dense de même taille.

Non. Il donne un ordre de grandeur pour la mémoire et la vitesse d’écriture. Un projet réel dépend aussi du temps de lecture des documents, du nombre d’utilisateurs simultanés, de la qualité obtenue sur vos exemples, de la sécurité et de l’intégration à vos outils. Nous testons ces points sur vos cas avant de recommander une machine. L’audit & cadrage IA peut être la première étape.