I Run Full DeepSeek v4.1 Flash on a 12GB GPU

I Run Full DeepSeek v4.1 Flash on a 12GB GPU

Je fais tourner DeepSeek v4.1 Flash complet sur un GPU de 12 Go

Historique des titres
  • I Run Full DeepSeek v4.1 Flash on a 12GB GPU — observé le 20261106-1607 UTC (YouTube)

par Kai · Voir la chaîne sur PSI

Sciences formelles & physiques IA — Modèles & Recherche UYQIntelligence artificielle (IA)UYQFIntelligence artificielle générative
🎙 Kai 👥 69K 📅 6 novembre 2026 ⏱ 24 min 👁 1K 📄 revue d'actualité 🧭 2026-11-06
Disponible en : Français (actuel) English

Mots-clés

bytes per wordquantification 2-bitPromethevsStrataRTX 3060

Résumé

Cette vidéo analyse la possibilité d’exécuter le modèle DeepSeek V4.1 Flash complet (510 Go) sur un GPU de 12 Go, en s’appuyant sur le moteur Promethevs et les fichiers 2-bit de Strata. L’auteur commence par remettre en contexte le débat ‘full vs lobotomisé’ : DeepSeek a déjà publié ses poids en FP4/FP8, donc la compression 2-bit conserve la moitié des bits des experts. Le concept central est le ‘coût par mot’ (bytes per word), soit environ 4,5 Go de poids d’experts mobilisés pour chaque token généré. La carte 12 Go ne contient que 0,5% du modèle, d’où un fort goulot d’étranglement mémoire. Les mesures montrent 2,14 tokens/s avec les poids originaux, 4,7 avec Strata 2-bit, et 7 avec Promethevs grâce à un mécanisme de compression-corrective et au draft head du modèle (décodage spéculatif). L’analyse d’exactitude indique 97,4% d’accord sur le mot suivant (98,33% après corrections), mais avec une divergence qui s’amplifie sur les longues générations. Les tests de deux installations externes révèlent que la vitesse peut varier fortement selon le paramétrage (ex: 2,66 à 9,75 tokens/s sur RTX 4090). Enfin, l’auteur compare le coût local à l’API DeepSeek (11,51 $/mois en usage continu), et recommande Strata pour 64 Go de RAM, Promethevs pour les cas de confidentialité stricte, et l’API pour un usage productif.

214 mots

Évaluation critique

Valeur des informations & solidité de l’argumentation

La valeur du contenu est élevée : l’auteur apporte une analyse chiffrée (taille des experts, coût par mot, mesures de vitesse) et une comparaison claire entre les approches. L’argumentation est bien structurée, passant de la définition de ‘full’ à la décomposition du coût par mot, puis aux résultats concrets et aux recommandations. Il utilise des analogies pertinentes (inventaire, magasin) pour rendre accessible un sujet technique sans tomber dans la simplification abusive. Il reconnaît les limites des données (rapports individuels, un seul test pour certaines mesures) et évite le sensationnalisme, par exemple en mettant en garde contre l’outlier de 8-10 tokens/s sur RTX 3060. Le raisonnement intègre des considérations économiques et pratiques, renforçant la solidité de l’analyse.

Rigueur scientifique, qualité des sources, adéquation du titre

La rigueur scientifique est bonne : les sources sont citées (config DeepSeek sur Hugging Face, dépôts GitHub Promethevs et Strata, documentation Unsloth et llama.cpp, prix de l’API DeepSeek). L’auteur distingue les mesures qu’il a réalisées, les rapports d’utilisateurs (AI Receipts, No Place Like Localhost, issues GitHub) et les informations de la documentation. Il signale les incertitudes et les limites des tests (échantillons réduits, conditions variables). Le titre est fidèle au contenu : il s’agit bien de tester la faisabilité de faire tourner le modèle complet sur un GPU 12 Go, en démontant les subtilités de quantification. Aucune publicité n’est détectée dans la description, et la vidéo ne contient pas de séquence sponsorisée apparente.

244 mots

Adéquation titre / contenu

Le titre correspond exactement au sujet : tester la faisabilité de faire tourner DeepSeek V4.1 Flash complet sur un GPU de 12 Go. L'accent est mis sur les compromis techniques, conforme à la promesse.

Qualité & fiabilité

8/10

La vidéo s'appuie sur des sources primaires (config DeepSeek, rapports GitHub, guides officiels) et des mesures documentées. Le créateur distingue clairement les faits mesurés, les rapports individuels et ses propres analyses, avec une démarche critique (vérification des chiffres, mise en garde sur les outliers). Certaines données proviennent de commentaires ou de tests uniques, mais la méthodologie est transparente.

Chapitres

Sources citées

Références externes

Apport & nouveautés

L’apport original de cette vidéo réside dans le concept de ‘bytes per word’ comme métrique unificatrice pour comparer les exécutions locales de modèles massifs. L’auteur propose une décomposition claire de ce que coûte chaque token en poids d’experts lus, reliant vitesse, précision et encombrement disque. Il démystifie le discours sur la ’lobotomie’ en montrant que DeepSeek n’a jamais publié en 16 bits, et vulgarise des techniques avancées comme le décodage spéculatif et la correction par reconstruction. Une analyse comparative précise entre Promethevs et Strata, avec des données externes, permet de situer les performances réelles.

Pour aller plus loin :

  • Mixture of Experts — Principe architecturaux des modèles avec experts, central pour comprendre le coût par token.
  • Speculative decoding — Technique utilisée par le draft head pour accélérer la génération.
  • Quantization (machine learning) — Fondements de la réduction de précision, appliqués ici en FP4/FP8/2-bit.
  • Promethevs GitHub — Dépôt officiel pour creuser l’implémentation technique et les discussions.

155 mots

Profil radar

Le profil radar montre une vidéo très dense en informations techniques (niveau technique élevé) et en quantité, avec une bonne fiabilité globale. La qualité informationnelle est légèrement inférieure à la quantité, en raison de certains tests reposant sur des témoignages isolés. Le format est plus proche de l'analyse documentée que de la vulgarisation simple.

Fiabilité 8/10