論文の概要: Multi-Block Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2606.29215v2
- Date: Tue, 30 Jun 2026 11:21:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 13:50:27.722053
- Title: Multi-Block Diffusion Language Models
- Title（参考訳）: マルチブロック拡散言語モデル
- Abstract要約: ブロック拡散言語モデル(BD-LM)は、KVキャッシングとフレキシブルな長文生成により拡散ベースのテキスト生成を改善する。
マルチブロック教師強制(MultiTF)を用いたBD-LMの訓練後得られたマルチブロック拡散言語モデル(MBD-LM)を提案する。
MBD-LLaDA2-Miniは平均Tokens Per Forward Pass (TPF)を3.47から6.19に増加させ、平均精度を79.95%から81.03%に向上させる。
DMaxと組み合わせると、MBD-LLaDA2-Mini-DMaxの平均TPFは9.34である。
- 参考スコア（独自算出の注目度）: 46.581695254036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Block Diffusion Language Models (BD-LMs) improve diffusion-based text generation with KV caching and flexible-length generation. A natural next step is to extend them from Single-Block Diffusion (SingleBD) to Multi-Block Diffusion (MultiBD), where a running-set of consecutive blocks is decoded concurrently for inter-block parallelism. However, existing BD-LMs are mostly trained under teacher forcing, where the model observes only one noisy block conditioned on a clean prefix. While the recent diffusion forcing strategy introduces visibility among multiple noisy blocks, its training states still differ from MultiBD inference, where decoding operates on a bounded running-set with heterogeneous slot-wise noise patterns. To bridge this gap, we propose Multi-Block Diffusion Language Models (MBD-LMs), obtained by post-training BD-LMs with Multi-block Teacher Forcing (MultiTF). MultiTF integrates teacher forcing and diffusion forcing by training on bounded noise-groups conditioned on clean prefixes, with randomized noise-schedulers that better match MultiBD inference states. To make MultiBD practically executable, we further introduce an optimized decoding algorithm based on the Block Buffer mechanism that preserves prefix-cache reuse, keeps input shapes static, and translates increased decoding parallelism into wall-clock acceleration. Empirically, MBD-LLaDA2-Mini increases average Tokens Per Forward pass (TPF) from 3.47 to 6.19 and improves average accuracy from 79.95% to 81.03%; when combined with DMax, MBD-LLaDA2-Mini-DMax reaches an average TPF of 9.34 with only a 1.02% accuracy drop on math and code benchmarks.
- Abstract（参考訳）: ブロック拡散言語モデル(BD-LM)は、KVキャッシングとフレキシブルな長文生成により拡散ベースのテキスト生成を改善する。
次の自然なステップは、それらをシングルブロック拡散(SingleBD)からマルチブロック拡散(MultiBD)に拡張することである。
しかし、既存のBD-LMは、主に教師の強制の下で訓練されており、クリーンプレフィックスで条件付きノイズブロックを1つだけ観察する。
最近の拡散強制戦略では、複数のノイズブロック間の可視性がもたらされるが、そのトレーニング状態はマルチBD推論とは相変わらず異なり、デコーディングは、不均一なスロットワイドノイズパターンを持つ有界ランニングセットで動作する。
このギャップを埋めるために,マルチブロック教師強制(MultiTF)を用いたBD-LMの訓練後得られたマルチブロック拡散言語モデル(MBD-LM)を提案する。
MultiTFは、クリーンプレフィックスに条件付き有界雑音群をトレーニングすることで教師の強制と拡散の強制を統合する。
さらに,MultiBDを実際に実行可能にするために,プレフィックスキャッシュの再利用を保ち,入力形状を静的に保ち,並列化の増大を壁面加速度に変換するBlock Buffer機構に基づく最適化デコードアルゴリズムを導入する。
実証的に、MBD-LLaDA2-Miniは平均Tokens Per Forward Pass (TPF)を3.47から6.19に増加させ、平均精度を79.95%から81.03%に向上させる。
関連論文リスト
- FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models [16.404926372068047]
ブロックワイド拡散大言語モデル (dLLM) はブロックレベルで逐次デコードし、ブロック間で有効なKVキャッシュの再利用を可能にするが、ブロック間デコーディングを厳密にシリアライズする。
2つのメカニズム上に構築されたトレーニング不要な並列デコーディングフレームワークである textbfflowblock を提案する。
LLaDA-2.1とLLaDA-2.0の2つのシリアルブロック単位のdLLMを最大2.95$times$と4.01$times$に改善し、レイテンシを最大53.6%、77.1%削減した。
論文 参考訳（メタデータ） (2026-07-20T08:05:03Z) - Training Hybrid Block Diffusion Language Models with Partial Bidirectionality [11.618306403714692]
長文生成は、大規模言語モデルにおいて重要な課題の1つである。
本稿では,逆マンバスキャンをアクティブデノナイジングブロックに制限することにより,この問題に対処するBDLMマンバ-アテンションハイブリッドを提案する。
長文推論では、BDLM Mamba-H はフルシーケンスの DiffuMamba-H の 65K トークンのスループットの 19.7 倍、BDLM の 262K のスループットの 3.7 倍に達する。
論文 参考訳（メタデータ） (2026-07-02T22:37:43Z) - Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding [16.82407109143003]
我々は,(i)フレキシブルポジション,フレキシブル長トークン集合を分解する可能性パラメタライゼーションと,(ii)推論ステップ毎にKVキャッシュ更新をサポートする集合因果拡散アーキテクチャからなる,新しい言語モデルの集合拡散(set diffusion)を提案する。
集合拡散は、従来の拡散言語モデルと比較して数学的推論、要約、無条件生成において、より良い速度品質のトレードオフを達成する。
論文 参考訳（メタデータ） (2026-07-02T06:45:43Z) - Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。
本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。
実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
論文 参考訳（メタデータ） (2026-05-16T07:50:13Z) - Dynamic Chunking for Diffusion Language Models [39.198939178122714]
ブロック離散拡散言語モデルは、固定サイズの位置ブロック上で自己回帰的にシーケンスを分解する。
textbfDynamic textbfChunking textbfDiffusion textbfModel (DCDM)を紹介する。
DCDMは、位置ブロックをコンテンツ定義セマンティックチャンクに置き換える。
論文 参考訳（メタデータ） (2026-05-15T06:56:05Z) - DMax: Aggressive Parallel Decoding for dLLMs [77.24184219948337]
効率的な拡散言語モデル(dLLM)のための新しいパラダイムであるDMaxを提案する。
並列デコードにおけるエラーの蓄積を軽減し、生成品質を維持しながらアグレッシブデコードを可能にする。
当社のアプローチの核心は、マスクと均一なdLLMを効率的に統合する新しいトレーニング戦略であるOn-Policy Uniform Trainingである。
論文 参考訳（メタデータ） (2026-04-09T14:35:42Z) - Fast-dVLM: Efficient Block-Diffusion VLM via Direct Conversion from Autoregressive VLM [58.322826487307765]
我々は,KV-cache互換並列デコードと推測ブロックデコードが可能なブロック拡散型VLMであるFast-dVLMを提案する。
SGLangの統合とFP8量子化により、Fast-dVLMはARベースライン上でのエンドツーエンドの推論速度を6倍以上に向上する。
論文 参考訳（メタデータ） (2026-04-08T08:50:08Z) - Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。
これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
論文 参考訳（メタデータ） (2025-09-30T14:40:18Z) - Sequential Diffusion Language Models [110.06562906987052]
拡散言語モデル(DLM)は理論効率が強いが、固定長の復号化とキー値キャッシュとの非互換性によって制限される。
次点と次点の予測を統一するNext Sequence Prediction (NSP)を導入する。
本稿では,事前学習した自己回帰言語モデル(ALM)を最小限のコストで再現可能な逐次拡散言語モデル(SDLM)を提案する。
論文 参考訳（メタデータ） (2025-09-28T17:59:15Z) - Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
離散拡散言語モデルは、テキスト生成に強い可能性を示している。
半自己回帰推論による微調整ミスアライメントの標準化
我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
論文 参考訳（メタデータ） (2025-08-27T02:49:33Z) - Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing [14.22753953706955]
Diffusion Large Language Models (dLLMs) は、テキスト生成のための自動回帰(AR) LLM に代わる有望な代替品として登場した。
本稿では、離散拡散強制(D2F)と呼ばれる単純かつ効果的な戦略に基づいて、この障壁を破る。
このようにして、バニラdLLMは効率的な推論のためにAR拡散ハイブリッドパラダイムに再構成される。
論文 参考訳（メタデータ） (2025-08-08T04:51:37Z) - Plan for Speed: Dilated Scheduling for Masked Diffusion Language Models [13.575063025878208]
マスク付き拡散言語モデルは高速で非自己回帰的なテキスト生成を約束する。
モデルの信頼性に基づいてアンマスクするトークンを選択する既存のサンプルは、複数の位置を並列にアンマスクする際のインタラクションを無視する。
DUS(Dilated Unmasking Scheduler)は、列位置を非隣接拡張群に分割し、それらを並列に分割する推論のみのプランナーフリーな手法である。
論文 参考訳（メタデータ） (2025-06-23T18:49:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。