論文の概要: Block Parallelism For Efficient Distributed Long-Context Diffusion Language Model Training
- arxiv url: http://arxiv.org/abs/2609.19242v1
- Date: Wed, 16 Sep 2026 17:35:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.969021
- Title: Block Parallelism For Efficient Distributed Long-Context Diffusion Language Model Training
- Title（参考訳）: 分散型長期拡散言語モデル学習のためのブロック並列化
- Abstract要約: ブロック拡散言語モデル (BDLMs) はブロック間の自己回帰計算とブロック内での並列化を組み合わせている。
従来のコンテキスト並列性は、きれいで破損したシーケンスを位置別に分割する。
ブロック並列化(Block parallelism)は,各ブロックプレフィックスを1つのランクに割り当てる分散並列化の次元である。
- 参考スコア（独自算出の注目度）: 8.715775891395412
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Block diffusion language models (BDLMs) combine autoregressive dependencies across blocks with parallel denoising within blocks, but long-context training is constrained by distributed attention communication and activation memory. Conventional context parallelism (CP) shards the combined clean-plus-corrupted sequence by position, communicating shared clean K/V together with block-specific corrupted K/V and their gradients. We observe that the BDLM objective separates over target blocks. We introduce block parallelism (BP), a new distributed parallelism dimension that assigns each corrupted-block computation to one rank. To scale BP to long contexts, we introduce context-sharded block parallelism (CSBP), which also shards the shared clean sequence across those ranks. CSBP keeps corrupted K/V and gradients local, avoids replicated clean prefixes, and preserves BDLM training semantics. On 16 H200 GPUs at 256K context, CSBP improves throughput over the best baseline by 1.18-1.45x for supervised fine-tuning and 1.27-1.33x for conversion of autoregressive models to BDLMs, while matching or reducing peak HBM. Full-model speedup reaches 1.61x at 512K. On eight H100 GPUs, CSBP accelerates DFlash2 speculative-decoder training by 2.48x at 512K and 7.59x at 1M. In matched 12-hour DiffusionGemma 26B-A4B SFT runs, CSBP achieves higher pass rates at every trained checkpoint on SWE-bench Verified and Terminal-Bench Lite. Code: https://github.com/ScalingIntelligence/Turbo-dLLM
- Abstract（参考訳）: ブロック拡散言語モデル(BDLM)はブロック間の自己回帰依存性とブロック内での並列化を結合するが、長いコンテキストトレーニングは分散アテンション通信とアクティベーションメモリによって制約される。
従来のコンテキスト並列性(CP)は、共有されたクリーンなK/Vとブロック固有のK/Vとそれらの勾配を連成して、クリーンかつ破損したシーケンスを位置ごとに分割する。
我々は,BDLMの目的がターゲットブロックよりも切り離されていることを観察する。
ブロック並列性(BP)は,各ブロックの計算を1つのランクに割り当てる分散並列性次元である。
BPを長い文脈に拡張するために、CSBP(Context-sharded Block parallelism)を導入する。
CSBPは劣化したK/Vと勾配を局所的に保持し、複製されたクリーンプレフィックスを回避し、BDLMトレーニングセマンティクスを保存する。
256Kコンテキストで16のH200 GPU上では、CSBPは最高のベースラインを1.18-1.45xで教師付き微調整し、1.27-1.33xで自己回帰モデルをBDLMに変換し、ピークHBMをマッチングまたは縮小する。
フルモデルスピードアップは512Kで1.61倍に達する。
8つのH100 GPU上で、CSBPはDFlash2投機デコーダのトレーニングを512Kで2.48倍、1Mで7.59倍高速化する。
12時間のDiffusionGemma 26B-A4B SFTランニングでは、CSBPはSWE-bench Verified と Terminal-Bench Liteのトレーニングされたチェックポイント毎により高いパスレートを達成する。
コード:https://github.com/ScalingIntelligence/Turbo-dLLM
関連論文リスト
- PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。
Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。
5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
論文 参考訳（メタデータ） (2026-06-25T06:56:43Z) - Scaling Neural Network Verification with Tensor Parallelism and Fully Sharded Data Parallelism [0.0]
形式的ニューラルネットワーク検証は、実際にはGPUメモリによって境界付けられている。
大規模なモデルトレーニングのために開発された2つのテクニックをauto_LiRPA / $,$-CROWN 検証フレームワークに適用する。
フルシャードデータ並列(FSDP)シャードは、層ごとのAllGatherで重量行列のみをシャードし、単一GPUベースラインとビット単位で同一のバウンドを生成する。
論文 参考訳（メタデータ） (2026-06-08T11:56:29Z) - DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。
並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。
当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
論文 参考訳（メタデータ） (2026-04-09T14:35:42Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - db-SP: Accelerating Sparse Attention for Visual Generative Models with Dual-Balanced Sequence Parallelism [14.406306253079515]
シーケンス並列化による拡散変換器(DiT)のスケーリングは、視覚発生の遅延を低減するために重要である。
スパース不均衡比を定式化して不均衡を定量化し、スパースを意識したシーケンス並列化手法であるdb-SPを提案する。
我々は,db-SPが1.25xのエンドツーエンドスピードアップと1.40xのアテンション特異的スピードアップを実現していることを示す。
論文 参考訳（メタデータ） (2025-11-28T11:55:46Z) - Block Cascading: Training Free Acceleration of Block-Causal Video Models [87.49370566105999]
小さな1.3Bモデルは16FPSしか管理せず、大きな14Bモデルは4.5FPSでクロールする。
Block Cascadingは、トレーニング不要の並列化を通じて、このトレードオフを著しく軽減する。
私たちの重要な洞察は、将来のビデオブロックは、生成を開始するために完全に識別された現在のブロックを必要としないということです。
論文 参考訳（メタデータ） (2025-11-25T15:52:58Z) - Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。
これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
論文 参考訳（メタデータ） (2025-09-30T14:40:18Z) - ParallelComp: Parallel Long-Context Compressor for Length Extrapolation [51.68913021512016]
超長い文脈(テキスト長 >128K)の補間は、大きな言語モデル(LLM)にとって大きな課題である。
本研究では,メモリボトルネックを効果的に克服する並列長コンテキスト圧縮手法であるParallelCompを提案する。
チャンクスループットが1.76倍向上し、プリフィル段階では23.50倍の高速化を実現し、性能損失を無視できる。
論文 参考訳（メタデータ） (2025-02-20T07:10:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。