Ornith AI · Modèle de langage
Faire tourner Ornith-1.5 35B-A3B (MoE) en local
Quel GPU, quel Mac, et à quelle vitesse.
Mélange d'experts de 35,9 milliards de paramètres dont 3 seulement sont actifs par token : 22,3 Go en Q4, et 129 tokens par seconde sur un Mac Mini M5 Pro. La qualité d'un gros modèle à la vitesse d'un petit, exactement ce qui reste faisable en local.
Notre verdict
22,3 GoEn Q4_K_M avec 8k de contexte, Ornith-1.5 35B-A3B (MoE) demande 22,3 Go. La machine la moins chère qui le fait tourner correctement est Mac Mini M5 Pro (64 Go), à environ 129 tokens par seconde.
Ajustez et comparez
La quantification et la taille du contexte changent complètement le résultat. Le cache KV, en particulier, est proportionnel au contexte : passer de 8k à 32k sur un gros modèle peut coûter plus cher en mémoire qu'un modèle entier de 8 milliards de paramètres.
Chargement du calculateur…
Pourquoi cette machine
48 Go allouables au modèle : il avale un 70B qu'aucune carte grand public ne charge, et tient les modèles de 32 milliards de paramètres avec de la marge sur le contexte. 307 Go/s, soit une vitesse de lecture tranquille plutôt qu'un débit de carte dédiée. Cette configuration mémoire se commande chez Apple, pas sur Amazon. Avec Ornith-1.5 35B-A3B (MoE), elle laisse 26,5 Go de marge et génère environ 129 tokens par seconde — de quoi produire du texte plus vite que vous ne le lisez.
Cette configuration se commande chez le constructeur, pas chez nos partenaires.
Caractéristiques du modèle
- Paramètres
- 35,9 Md
- Actifs par token
- 3 Md
- Couches
- 40
- Têtes KV
- 2 × 256
Contexte maximal 256k tokens · caractéristiques vérifiées le 2026-09-02 · source primaire
Questions fréquentes
Les réponses courtes
- Combien de VRAM faut-il pour faire tourner Ornith-1.5 35B-A3B (MoE) en local ?
- 22,3 Go en Q4_K_M avec 8k de contexte : 20,5 Go pour les poids du modèle, 0,6 Go pour le cache KV, le reste en tampons de calcul et en réserve d'affichage.
- Ornith-1.5 35B-A3B (MoE) tourne-t-il sur une carte de 8 Go ?
- Non, pas en Q4_K_M avec 8k de contexte : il faudrait 22,3 Go alors qu'une carte de 8 Go n'en offre que 8,0 Go. Une quantification plus agressive ou un contexte plus court peut changer la réponse.
- Quelle est la machine la moins chère pour Ornith-1.5 35B-A3B (MoE) ?
- Mac Mini M5 Pro (64 Go), autour de 3100 €, à environ 129 tokens par seconde en Q4_K_M.
Modèles voisins
Statut donné pour GeForce RTX 5060 Ti 16 Go, notre machine de référence.