Mistral AI · Modèle de langage
Faire tourner Mistral Small 3 (24B) en local
Quel GPU, quel Mac, et à quelle vitesse.
Il joue dans la cour des gros modèles. En Q4 il tient sur une carte de 16 Go, mais tout juste : dès 16k de contexte, il déborde. Le vrai confort, c'est 24 Go.
Notre verdict
15,9 GoEn Q4_K_M avec 8k de contexte, Mistral Small 3 (24B) demande 15,9 Go. La machine la moins chère qui le fait tourner correctement est Mac Mini M6 (24 Go), à environ 9 tokens par seconde.
Ajustez et comparez
La quantification et la taille du contexte changent complètement le résultat. Le cache KV, en particulier, est proportionnel au contexte : passer de 8k à 32k sur un gros modèle peut coûter plus cher en mémoire qu'un modèle entier de 8 milliards de paramètres.
Chargement du calculateur…
Pourquoi cette machine
La seule carte grand public à dépasser 24 Go, et de loin la plus rapide. Son prix a doublé depuis son lancement : c'est un achat de passionné, pas un choix rationnel. Avec Mistral Small 3 (24B), elle laisse 16,1 Go de marge et génère environ 96 tokens par seconde — de quoi produire du texte plus vite que vous ne le lisez.
La machine que nous conseillons
GeForce RTX 5090 32 Go
5 000 € constaté le 2026-09-01
Moins cher et suffisant : Mac Mini M6 (24 Go), 1 490 €.Voir sur Amazon
Caractéristiques du modèle
- Paramètres
- 23,6 Md
- Actifs par token
- Tous (dense)
- Couches
- 40
- Têtes KV
- 8 × 128
Contexte maximal 32k tokens · caractéristiques vérifiées le 2026-09-01 · source primaire
Questions fréquentes
Les réponses courtes
- Combien de VRAM faut-il pour faire tourner Mistral Small 3 (24B) en local ?
- 15,9 Go en Q4_K_M avec 8k de contexte : 13,5 Go pour les poids du modèle, 1,3 Go pour le cache KV, le reste en tampons de calcul et en réserve d'affichage.
- Mistral Small 3 (24B) tourne-t-il sur une carte de 8 Go ?
- Non, pas en Q4_K_M avec 8k de contexte : il faudrait 15,9 Go alors qu'une carte de 8 Go n'en offre que 8,0 Go. Une quantification plus agressive ou un contexte plus court peut changer la réponse.
- Quelle est la machine la moins chère pour Mistral Small 3 (24B) ?
- Mac Mini M6 (24 Go), autour de 1490 €, à environ 9 tokens par seconde en Q4_K_M.
Modèles voisins
Statut donné pour GeForce RTX 5060 Ti 16 Go, notre machine de référence.