論文の概要: DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
- arxiv url: http://arxiv.org/abs/2606.19348v1
- Date: Sun, 26 Apr 2026 14:49:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.919127
- Title: DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence
- Title（参考訳）: DeepSeek-V4: 高効率な数百万のコンテキストインテリジェンスを目指して
- Abstract要約: We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language model。
DeepSeek-V4シリーズには、アーキテクチャと最適化のいくつかの重要なアップグレードが含まれている。
DeepSeek-V4シリーズは、長いコンテキストシナリオにおいて非常に効率的である。
- 参考スコア（独自算出の注目度）: 240.40422202055993
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language models -- DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) -- both supporting a context length of one million tokens. DeepSeek-V4 series incorporate several key upgrades in architecture and optimization: (1) a hybrid attention architecture that combines Compressed Sparse Attention (CSA) and Heavily Compressed Attention (HCA) to improve long-context efficiency; (2) Manifold-Constrained Hyper-Connections (mHC) that enhance conventional residual connections; (3) and the Muon optimizer for faster convergence and greater training stability. We pre-train both models on more than 32T diverse and high-quality tokens, followed by a comprehensive post-training pipeline that unlocks and further enhances their capabilities. DeepSeek-V4-Pro-Max, the maximum reasoning effort mode of DeepSeek-V4-Pro, redefines the state-of-the-art for open models, outperforming its predecessors in core tasks. Meanwhile, DeepSeek-V4 series are highly efficient in long-context scenarios. In the one-million-token context setting, DeepSeek-V4-Pro requires only 27% of single-token inference FLOPs and 10% of KV cache compared with DeepSeek-V3.2. This enables us to routinely support one-million-token contexts, thereby making long-horizon tasks and further test-time scaling more feasible. The model checkpoints are available at https://huggingface.co/collections/deepseek-ai/deepseek-v4.
- Abstract（参考訳）: We present a preview version of DeepSeek-V4 series, including two strong Mixture-of-Experts (MoE) language model -- DeepSeek-V4-Pro with 1.6T parameters (49B activated) and DeepSeek-V4-Flash with 284B parameters (13B activated) -- both support a context length of 100 million tokens。
DeepSeek-V4シリーズには、(1)圧縮スパース注意(CSA)と重圧縮注意(HCA)を組み合わせたハイブリッドアテンションアーキテクチャー、(2)従来の残差接続を向上するマニフォールド制約ハイパーコネクション(mHC)、(3)より高速な収束とトレーニング安定性向上のためのミューオンオプティマイザなど、アーキテクチャと最適化のいくつかの重要なアップグレードが含まれている。
両方のモデルを32T以上の多彩かつ高品質なトークンで事前トレーニングし、続いて、その機能をアンロックし、さらに強化する総合的なポストトレーニングパイプラインを用意します。
DeepSeek-V4-Proの最大の推論モードであるDeepSeek-V4-Pro-Maxは、オープンモデルの最先端を再定義し、前世代のコアタスクを上回っている。
一方、DeepSeek-V4シリーズは長いコンテキストシナリオにおいて非常に効率的である。
100万のコンテキスト設定では、DeepSeek-V4-ProはシングルトークンのFLOPの27%と、DeepSeek-V3.2と比較してKVキャッシュの10%しか必要としない。
これにより、100万のコンテキストを日常的にサポートし、長い水平タスクを実現し、テストタイムのスケーリングをより実現できます。
モデルチェックポイントはhttps://huggingface.co/collections/deepseek-ai/deepseek-v4.comから入手できる。
関連論文リスト
- FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。
このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。
FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
論文 参考訳（メタデータ） (2026-06-08T06:25:54Z) - LongLive-2.0: An NVFP4 Parallel Infrastructure for Long Video Generation [84.86814271505109]
LongLive-2.0は、長いビデオ生成の完全なトレーニングと推論ワークフロー全体を通じて、NVFP4ベースの並列インフラストラクチャである。
トレーニングには,quence-parallel autoregressive (AR) トレーニングを導入する。
実験ではトレーニングで2.15倍、推論で1.84倍のスピードアップを示す。
論文 参考訳（メタデータ） (2026-05-18T17:57:03Z) - Step-3 is Large yet Affordable: Model-system Co-design for Cost-effective Decoding [144.70522923640095]
大規模言語モデル(LLM)はデコード時にハードウェア効率が低下する。
本稿では,デコードコストの最小化に最適化されたハードウェア対応モデルシステムであるStep-3を紹介する。
Step-3はDeepSeek-V3やQwen3 MoE 235Bのようなモデルと比較して、理論的デコードコストを大幅に削減する。
論文 参考訳（メタデータ） (2025-07-25T16:53:13Z) - DeepSeek-V3 Technical Report [147.16121855209246]
We present DeepSeek-V3, a strong Mixture-of-Experts (MoE) language model with 671B total parameters with 37B activated for each token。
我々は14.8兆の多様性と高品質のトークンでDeepSeek-V3を事前訓練し、その後にSupervised Fine-Tuning and Reinforcement Learningのステージを受講した。
包括的な評価によると、DeepSeek-V3は他のオープンソースモデルよりも優れており、主要なクローズドソースモデルに匹敵するパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-12-27T04:03:16Z) - DeepSeek-VL2: Mixture-of-Experts Vision-Language Models for Advanced Multimodal Understanding [39.14141055325595]
We present DeepSeek-VL2, a Advanced series of large Mixture-of-Experts (MoE) Vision-Language Models。
ビジョンコンポーネントには、アスペクト比の異なる高解像度画像を処理するために設計された動的タイリングビジョン符号化戦略が組み込まれている。
言語コンポーネントについては、Multi-head Latent AttentionメカニズムでDeepSeekMoEモデルを活用します。
論文 参考訳（メタデータ） (2024-12-13T17:37:48Z) - DeepSeek-Coder-V2: Breaking the Barrier of Closed-Source Models in Code Intelligence [43.589403386634615]
DeepSeek-Coder-V2は、コード固有のタスクでGPT4-Turboに匹敵するパフォーマンスを実現する、オープンソースのコード言語モデルである。
DeepSeek-Coder-V2はさらに6兆トークンを追加して、DeepSeek-V2の中間チェックポイントから事前トレーニングされている。
標準的なベンチマーク評価では、GPT4-Turbo、Claude 3 Opus、Gemini 1.5 Proといったクローズドソースモデルと比較して、DeepSeek-Coder-V2は優れたパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-06-17T13:51:35Z) - DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model [118.06260386652778]
We present DeepSeek-V2, a strong Mixture-of-Experts (MoE) language model characterized by economical training and efficient inference。
DeepSeek-V2は、MLA(Multi-head Latent Attention)やDeepSeekMoEといった革新的なアーキテクチャを採用している。
DeepSeek-V2はDeepSeek 67Bと比較して大幅に性能が向上し、トレーニングコストは42.5%削減された。
論文 参考訳（メタデータ） (2024-05-07T15:56:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。