論文の概要: Beyond Block Boundaries: Multi-Block Editing for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2607.22663v2
• Date: Wed, 29 Jul 2026 12:40:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:39.014229
• Title: Beyond Block Boundaries: Multi-Block Editing for Diffusion Large Language Models
• Title（参考訳）: ブロック境界を超える: 拡散大言語モデルのためのマルチブロック編集
• Abstract要約: 離散拡散言語モデル(dLLM)のスケーリングにおけるブロック拡散は支配的なアプローチである クロスブロックコンテキストを用いて復号化トークンを更新するマルチブロック編集(MBE)を提案する。 MBEは平均12ベンチマークを61.45から64.24に引き上げ、AIME 2025では13.33ポイントまで上昇し、87.3-96.7%の標準復号スループットを維持した。
• 参考スコア（独自算出の注目度）: 36.661291804348146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Block diffusion is the dominant approach for scaling discrete diffusion language models (dLLMs), as fixed-size blocks preserve parallel decoding while keeping quadratic attention costs tractable. Yet blockwise generation creates a structural weakness: tokens near a block boundary lack future cross-block context, and errors in finalized blocks become irreversible context for later generation. We call this the block boundary problem. Measuring predictions with and without later-block context shows that boundary sensitivity rises sharply: on AIME 2025, mean self-containedness divergence (SCD) in the last quarter of a block is 61.3 times that in the first quarter. We propose Multi-Block Editing (MBE), which revises decoded tokens using cross-block context. Training-Free MBE reopens a full-attention window over selected blocks without parameter updates. To address the mismatch between block-diffusion training and MBE inference, Multi-Block Edit SFT introduces bidirectional attention masks and progressively enlarges the editing span. We also extend SGLang with a multi-shape CUDA Graph pool and fine-grained KV-cache control for efficient variable-length editing. Experiments on LLaDA2.1-Mini across 12 benchmarks show broad, consistent gains. Training-Free MBE improves or matches standard decoding on every benchmark. Full MBE raises the 12-benchmark average from 61.45 to 64.24, with gains of up to 13.33 points on AIME 2025, while retaining 87.3--96.7% of standard-decoding end-to-end throughput across four datasets.
• Abstract（参考訳）: ブロック拡散は離散拡散言語モデル(dLLM)のスケーリングにおいて支配的なアプローチである。 ブロック境界に近いトークンは、将来のクロスブロックコンテキストを欠き、最終ブロックのエラーは、後の世代では不可逆なコンテキストになる。 これをブロック境界問題と呼ぶ。 AIME 2025では、ブロックの最後の4分の1の平均自己完結性分散(SCD)は、第1四半期の61.3倍である。 クロスブロックコンテキストを用いて復号化トークンを更新するマルチブロック編集(MBE)を提案する。 Training-Free MBEはパラメータ更新なしで、選択されたブロック上でフルアテンションウィンドウを再オープンする。 ブロック拡散トレーニングとMBE推論のミスマッチに対処するため、Multi-Block Edit SFTは双方向のアテンションマスクを導入し、編集スパンを徐々に拡大する。 また、SGLangを多形CUDAグラフプールとKVキャッシュ制御により拡張し、効率的な可変長編集を行う。 12ベンチマークでのLLaDA2.1-Miniの実験は、広範囲で一貫した利得を示している。 トレーニングフリーのMBEは、ベンチマーク毎に標準デコードを改善したり、適合させたりします。 Full MBEは平均12ベンチマークを61.45から64.24に引き上げ、AIME 2025では13.33ポイントまで上昇し、4つのデータセットで標準デコードエンドツーエンドスループットの87.3-96.7%を維持している。

関連論文リスト

• FlowBlock: Wavefront-Parallel Decoding for Self-Correcting Diffusion Language Models [16.404926372068047]
  ブロックワイド拡散大言語モデル (dLLM) はブロックレベルで逐次デコードし、ブロック間で有効なKVキャッシュの再利用を可能にするが、ブロック間デコーディングを厳密にシリアライズする。 2つのメカニズム上に構築されたトレーニング不要な並列デコーディングフレームワークである textbfflowblock を提案する。 LLaDA-2.1とLLaDA-2.0の2つのシリアルブロック単位のdLLMを最大2.95$times$と4.01$times$に改善し、レイテンシを最大53.6%、77.1%削減した。
  論文  参考訳（メタデータ） (2026-07-20T08:05:03Z)
• Multi-Block Diffusion Language Models [46.581695254036]
  ブロック拡散言語モデル(BD-LM)は、KVキャッシングとフレキシブルな長文生成により拡散ベースのテキスト生成を改善する。 マルチブロック教師強制(MultiTF)を用いたBD-LMの訓練後得られたマルチブロック拡散言語モデル(MBD-LM)を提案する。 MBD-LLaDA2-Miniは平均Tokens Per Forward Pass (TPF)を3.47から6.19に増加させ、平均精度を79.95%から81.03%に向上させる。 DMaxと組み合わせると、MBD-LLaDA2-Mini-DMaxの平均TPFは9.34である。
  論文  参考訳（メタデータ） (2026-06-28T05:53:45Z)
• BlockBatch: Multi-Scale Consensus Decoding for Efficient Diffusion Language Model Inference [15.424211656458453]
  拡散言語モデルは、複数のトークン位置を並列に反復的に認知することでテキストを生成する。 小さなブロックはローカル条件を保存するが、多くのデノーミングステップを必要とするが、大きなブロックはより並列性を公開するが、早期のコミットとキャッシュエラーを蓄積することができる。 バッチ転送パス内で同じリクエストに対して複数のブロックサイズのブランチを実行する,トレーニング不要なオンライン推論フレームワークであるBlockBatchを提案する。
  論文  参考訳（メタデータ） (2026-05-28T01:48:29Z)
• Efficient Long-Context Modeling in Diffusion Language Models via Block Approximate Sparse Attention [58.484607892210015]
  Diffusion Language Models (DLM) は、グローバルコヒーレント、双方向、および制御可能なテキスト生成を可能にする。 既存の多くのブロックスパースアテンション手法は、高分解能アテンション空間上の固定サンプリングパターンによってブロックを選択する。 本稿では,ブロックワイド事前サンプリング操作によるBA-Att(Block Approximate Sparse Attention framework)を提案する。
  論文  参考訳（メタデータ） (2026-05-19T12:01:13Z)
• Prefix-Adaptive Block Diffusion for Efficient Document Recognition [52.15352911463151]
  ブロック拡散モデル(BDM)は並列生成、フレキシブルな出力、KVキャッシュをサポートし、効率的な文書解析を約束する。 本稿では,前置詞から接尾辞への因果表記に代えて,ブロック内双方向化を代替するPrefix-Block Diffusion Model (PA-BDM)を提案する。 実験の結果、3B PA-BDMはいくつかのベンチマークで高い認識スコアを達成し、2.5B MinerU-Diffusionに対して推論スループットを71.6%向上した。
  論文  参考訳（メタデータ） (2026-05-16T07:50:13Z)
• Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation [61.19473093799777]
  ブロックアテンションは、Retrieval-Augmented Generation (RAG)のような長期コンテキストシナリオにおけるKVキャッシュの再利用を改善することができる。 しかし、入力テキストを意味のある自己完結ブロックに分割することの難しさと、性能低下のリスクを負う既存のブロック微調整手法の非効率性である。 ブロック微細チューニングよりも効率的な訓練フレームワークであるブロック蒸留を提案し, 凍結したフルアテンション教師モデルを用いて, ブロックアテンション学生を指導する。
  論文  参考訳（メタデータ） (2026-05-15T12:51:32Z)
• Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding [60.06816407728172]
  離散拡散言語モデルは、テキスト生成に強い可能性を示している。 半自己回帰推論による微調整ミスアライメントの標準化 我々は、応答を固定サイズブロックに分割するBlockwise SFTを提案する。
  論文  参考訳（メタデータ） (2025-08-27T02:49:33Z)
• Block-Attention for Efficient Prefilling [6.916657784681611]
  本稿では,Retrieval-Augmented Generation(RAG)シナリオにおける推論遅延の増加とコストに対処するアテンションメカニズムであるBlock-attentionを紹介する。 各パスをブロックとして定義することで、ブロックアテンションは、これまで見てきたパスのKV状態の再利用を可能にします。 ブロックアテンションは、最初のトークン(TTFT)と浮動小数点演算(FLOP)の時間を極端に低くする。
  論文  参考訳（メタデータ） (2024-09-14T02:34:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。