論文の概要: RedKnot-MLA: Multi-Head Offline-Online Reuse for DeepSeek-V4 Long-Context Serving
- arxiv url: http://arxiv.org/abs/2609.07008v1
- Date: Mon, 07 Sep 2026 03:59:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.350918
- Title: RedKnot-MLA: Multi-Head Offline-Online Reuse for DeepSeek-V4 Long-Context Serving
- Title（参考訳）: RedKnot-MLA: DeepSeek-V4 Long-Context Servingのためのマルチヘッドオフラインリユース
- Abstract要約: マルチヘッド潜時注意(MLA)は、複数の論理的クエリヘッドを1つの満載の潜時KVストリームを通じて公開する。
我々はRedKnotのヘッドアウェア再利用原理をDeepSeek-V4で実現したシステムを提案する。
- 参考スコア（独自算出の注目度）: 30.406836978404403
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-head latent attention (MLA) exposes many logical query heads through one packed latent KV stream. This representation is memory efficient, but it removes the physical per-head cache boundary assumed by conventional head-wise reuse. We present our system, a DeepSeek-V4 realization of RedKnot's head-aware reuse principle. Each immutable document is processed offline at canonical position zero; certified Local-head contributions are retained as MLA-Off. At serving time, query-side RoPE relocation restores the document's request position, a small Global-head set and protected Local token rows are recomputed as MLA-Online, and the two paths are merged before a single shared output projection. The packed MLA latent is never split. DeepSeek-V4-Flash uses 37 reusable layers and a 56/8 Local/Global partition, giving a 75.29% analytic logical head-row ceiling; the Pro-0813 profile uses 55 layers and 112/16 heads, giving 78.89%. Frozen Flash operating points show hot-artifact TTFT speedups of 2.02-3.84x. At 256K, the archived three-dataset study reports an aggregate F1 change of +3.24 percentage points, an EM change of +4.16 points, and a 78.7-79.5% analytic major-operator arithmetic saving, while one dataset decreases by 2.81 F1 points. A separate author-reported 256K hot-artifact QPS measurement is approximately 2.0x; because its raw concurrency trace is not included in this bundle, we mark it as preliminary rather than archived evidence. We describe the factorization, position repair, token-row closure, sparse-MoE support, TP8 integration, and the measurement boundaries needed to interpret these results.
- Abstract（参考訳）: マルチヘッド潜時注意(MLA)は、複数の論理的クエリヘッドを1つの満載の潜時KVストリームを通じて公開する。
この表現はメモリ効率が良いが、従来のヘッドワイド再利用によって仮定される物理ヘッド当たりキャッシュ境界を除去する。
我々はRedKnotのヘッドアウェア再利用原理をDeepSeek-V4で実現したシステムを提案する。
各不変文書は標準位置ゼロでオフラインで処理され、認証されたローカルヘッドコントリビューションはMLA-Offとして保持される。
サービス時には、クエリサイドのRoPE再配置が文書の要求位置を復元し、小さなグローバルヘッドセットと保護されたローカルトークン行をMLA-Onlineとして再コンパイルし、2つのパスを単一の共有出力プロジェクションの前にマージする。
MLAラテントは決して分割されない。
DeepSeek-V4-Flashは37の再利用可能なレイヤと56/8のローカル/グローバルパーティションを使用し、75.29%の論理的ヘッドロー天井を提供する。
凍結フラッシュ動作ポイントは、ホットアーティファクトTTFTの速度が2.02-3.84倍であることを示している。
256Kでは、アーカイブされた3データセット調査では、総F1が+3.24パーセンテージで、EMが+4.16ポイントで、78.7-79.5%が大算術演算の節約であり、一方のデータセットは2.81F1ポイント減少している。
著者が別々に報告した256KホットアーティファクトQPS測定は、約2.0倍である。
本稿では, 因子分解, 位置修復, トークン-ロー閉鎖, スパース-MoEサポート, TP8統合, およびこれらの結果の解釈に必要な測定境界について述べる。
関連論文リスト
- PARSER: Read in Parallel, Reason in Depth for Long-Context LLM Agents [85.82624962221026]
本稿では、読みを推論から切り離すPARSERを紹介する。
単一のチャンクにバインドされた軽量サブエージェントのバンクは、ドキュメント全体を並列に読み取る。
7Kから896Kまでのコンテキストを持つマルチホップQAでは、4Bバックボーンを持つPARSERが最強のシーケンシャルメモリベースラインを上回っている。
論文 参考訳（メタデータ） (2026-09-06T16:19:01Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。
我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。
すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
論文 参考訳（メタデータ） (2026-08-09T20:53:47Z) - Through the Bottleneck: How Multi-head Latent Attention Separates Content from Position in Language Models [0.0]
DeepSeek-V2で導入されたMulti-head Latent Attention (MLA)は、共有低ランクボトルネックを通じてキーと値のペアを圧縮する。
これまでの研究では、このボトルネックが保持または破棄する情報や、内部変圧器回路を再設定する方法については研究されていない。
本研究は,MLAの総合的機械論的解釈可能性に関する最初の研究である。
論文 参考訳（メタデータ） (2026-07-25T05:45:59Z) - Think Before You Grid-Search: Floor-First Triage for LLM Serving [0.0]
LLMサービス最適化は通常、多くの設定をベンチマークし、遅延ターゲットが欠落しているときに重いプロファイラに到達する。
我々は逆の規律を主張する: 推定はプロファイリングの分析的な層である。
論文 参考訳（メタデータ） (2026-07-07T06:11:54Z) - Lost in a Single Vector: Improving Long-Document Retrieval with Chunk Evidence Aggregation [59.438696079345426]
DICEは、ドキュメントをチャンクに分割し、凍結したモデルで独立してエンコードし、それらを単一のベクタに集約する、トレーニング不要のドキュメントサイド戦略である。
LongEmbedでは、DICEは4つのバックボーン間の検索を改善し、4kトークンを超えるスライスで最大の利益を上げている。
12,779個のフィルターサンプルのうち、DICEは92.8%のケースで単一ベクトルベースラインよりも低いEDIが得られる。
論文 参考訳（メタデータ） (2026-06-17T07:44:04Z) - QK-Normed MLA: QK normalization without full key caching [65.51862319225098]
QK正規化は、フルキーキャッシュを必要とせずに、MLAモデルの実用的な安定化オプションであることを示す。
最大100Bトークンでトレーニングされた400Mの実行では、QK-Normed MLAはトレーニング損失の低減と、QKクリッピングよりも下流の精度の向上を実現しています。
論文 参考訳（メタデータ） (2026-06-15T07:16:30Z) - How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。
HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文 参考訳（メタデータ） (2026-05-08T09:30:31Z) - MEMTIER: Tiered Memory Architecture and Retrieval Bottleneck Analysis for Long-Running Autonomous AI Agents [6.8552591401084015]
提案するMEMTIERは,OpenClawエージェントのための三部構成メモリアーキテクチャである。
完全なLongMemEval-Sベンチマークでは、MEMTIERは6GBのGPU上でQwen2.5-7BでAcc.382, F1=.412を達成する。
DeepSeek-V4-Flashでは、シングルセッションリコールは0.686-0.714に達し、これらのカテゴリのRAG GPT-4oを上回っている。
論文 参考訳（メタデータ） (2026-05-05T12:14:10Z) - Predictive Multi-Tier Memory Management for KV Cache in Large-Scale GPU Inference [0.0]
キーバリュー(KV)キャッシュメモリ管理は、大規模GPU推論サービスにおける主要なボトルネックである。
現在のシステムは3つの複合的非効率性に悩まされている。
3つの問題すべてに対処する統一システムを提案する。
論文 参考訳（メタデータ） (2026-04-19T21:34:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。