論文の概要: Split-KV: Efficient Context Parallelism for Training Diffusion Drafters
- arxiv url: http://arxiv.org/abs/2611.05926v1
- Date: Wed, 04 Nov 2026 04:16:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.940135
- Title: Split-KV: Efficient Context Parallelism for Training Diffusion Drafters
- Title（参考訳）: Split-KV:拡散訓練のための効率的なコンテキスト並列化
- Abstract要約: 拡散ドラフトラは、複数のドラフトトークンを並列に記述することで、投機的復号化を加速する。
コンテクストが一定のクエリ予算でスケールするにつれて、コンテクストが安定し続ける一方で、クエリ予算の増加は品質向上を減少させることを示す。
キー/値のシャードを局所的に保持し,クエリサイズのテンソルに対する層間アテンション通信を制限する,正確なCP手法であるSplit-KVを提案する。
- 参考スコア（独自算出の注目度）: 17.517555408803194
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion drafters accelerate speculative decoding by denoising multiple draft tokens in parallel. Their training uses anchor sampling to construct compact draft queries and performs cross-attention with a block-sparse mask over a much longer context. We empirically show that acceptance length remains stable as context scales with a fixed query budget, while increasing the query budget yields diminishing quality gains, jointly establishing a practical regime with queries far shorter than the context. No existing context parallelism (CP) method jointly exploits this query--context asymmetry and meets the nonlinear, sample-dependent load-balancing requirement created by anchor sampling. We present Split-KV, an exact CP method that keeps key/value shards local and limits per-layer attention communication to query-sized tensors, making this communication independent of context length. Its global query view further enables a cost-aware longest-processing-time-first (LPT) strategy that balances context key/value chunks by their realized attention cost. At a CP size of 64, Split-KV retains 85--91\% weak-scaling efficiency and achieves up to $3.67\times$ speedup over the fastest available CP baseline. LPT achieves $<$1\% imbalance and plans three orders of magnitude faster than the best load-balancing baseline. Code is available at https://github.com/zxgx/verl.
- Abstract（参考訳）: 拡散ドラフトラは、複数のドラフトトークンを並列に記述することで、投機的復号化を加速する。
彼らのトレーニングでは、アンカーサンプリングを使用して、コンパクトなドラフトクエリを構築し、より長いコンテキスト上でブロックスパースマスクでクロスアテンションを実行する。
コンテクストが一定のクエリ予算でスケールする一方で、クエリ予算の増加は品質向上の低下を招き、コンテキストよりもはるかに短いクエリで実践的なシステマを確立することを実証的に示す。
既存のコンテキスト並列性(CP)法は、このクエリ-コンテキスト非対称性を併用せず、アンカーサンプリングによって生成される非線形でサンプル依存の負荷分散要求を満たす。
キー/値のシャードを局所的に保持し,クエリサイズのテンソルに対する層間アテンション通信を制限する,正確なCP手法であるSplit-KVを提案する。
グローバルクエリビューにより、コンテキストキー/バリューチャンクを実際の注意コストでバランスするLPT戦略がさらに実現される。
64のCPサイズでは、Split-KVは85--91\%の弱いスケーリング効率を維持し、最速のCPベースラインよりも最大3.67\times$スピードアップを達成する。
LPTは$<$1\%の不均衡を達成し、最高の負荷分散ベースラインよりも3桁早く計画する。
コードはhttps://github.com/zxgx/verl.comから入手できる。
関連論文リスト
- S$^3$R: Fast and Faithful RL Rollouts via Self-Sparse Speculative Decoding [36.240156196650915]
検証可能な報酬を持つ強化学習のための高速ロールアウト生成は、ポリシー最適化に使用される応答群を変更することなく、KVキャッシュトラフィックを減らす必要がある。
自己分散型投機ロールアウト(S$3$R)を提案する。
希少な注意を使ってトークンを提案し、完全なアテンション検証と正確な投機的サンプリングを通じて応答を生成する。
Qwen3モデルにおける自動回帰ロールアウトのエンドツーエンドのトレーニングスループットは、タスクパフォーマンスに匹敵する$1.39times1.35timesを達成している。
論文 参考訳（メタデータ） (2026-10-09T08:22:40Z) - SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。
クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。
SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文 参考訳（メタデータ） (2026-10-06T16:35:28Z) - Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。
我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。
標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
論文 参考訳（メタデータ） (2026-04-19T08:18:29Z) - CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference [3.1255988998610307]
CSAttention(Centroid-Scoring Attention)は、高スループットコンテキストに最適化された訓練不要のスパースアテンション手法である。
計算処理を1回のオフラインプリフィルフェーズにフロントロードし、複数のクエリでアモートできる。
モデル精度と推論速度の両方において、最先端のスパースアテンション手法より一貫して優れている。
論文 参考訳（メタデータ） (2026-03-30T01:42:29Z) - VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling [0.0]
既存のスパースアテンション手法は、コンテキスト適応性、オーバーヘッドのサンプリング、微調整コストのトレードオフに直面している。
注意分布に垂直スラッシュ構造パターンを用いる軽量なトレーニング機構であるVSPrefillを提案する。
VSPrefillは注意点の98.35%を保存し、コンテキスト長128kで平均4.95倍のスピードアップを提供する。
論文 参考訳（メタデータ） (2026-03-03T09:24:58Z) - AsyncSpade: Efficient Test-Time Scaling with Asynchronous Sparse Decoding [35.10915929939651]
テストタイムスケーリング(TTS)は長いチェーン・オブ・シント(CoT)を介してLCM推論を促進する
KV-cache成長は、LLMデコーディングのメモリバウンドボトルネックを増幅する。
2つのコアコンポーネント上に構築された効率的なTSのための非同期フレームワークであるAsyncSpadeを提案する。
論文 参考訳（メタデータ） (2025-10-08T19:36:11Z) - Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。
これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。
現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか?
i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
論文 参考訳（メタデータ） (2025-10-01T17:08:59Z) - Training Long-Context LLMs Efficiently via Chunk-wise Optimization [60.05884946552877]
textitSequential Chunk-wise Optimization (SeCO) は、長い入力を管理可能なチャンクに分割するメモリ効率の訓練パラダイムである。
textitSparse Chunk-wise Optimization (SpaCO)を導入し、特定のチャンクへの勾配を選択的に伝播することで計算オーバーヘッドを削減する。
SpaCOは、コンテキスト長からバックプロパゲーションの計算コストを分離し、シーケンスが長くなるにつれて、トレーニング時間が徐々に推論時間に収束することを可能にする。
論文 参考訳（メタデータ） (2025-05-22T14:11:34Z) - ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。
本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。
チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
論文 参考訳（メタデータ） (2025-02-20T07:10:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。