論文の概要: DepCap: Adaptive Block-Wise Parallel Decoding for Efficient Diffusion LM Inference

• arxiv url: http://arxiv.org/abs/2604.15750v1
• Date: Fri, 17 Apr 2026 06:53:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.772434
• Title: DepCap: Adaptive Block-Wise Parallel Decoding for Efficient Diffusion LM Inference
• Title（参考訳）: DepCap: 効率的な拡散LM推論のための適応ブロック幅並列デコーディング
• Authors: Xiang Xia, Wuyang Zhang, Jiazheng Liu, Cheng Yan, Yanyong Zhang,
• Abstract要約: 拡散言語モデル (DLM) は自己回帰型言語生成に代わる有望な代替手段として登場した。 この可能性を解き明かすためには、DLM推論は生成品質と復号速度を慎重にバランスさせなければならない。 効率的なブロックワイドDLM推論のためのトレーニングフリーフレームワークであるDepCapを提案する。
• 参考スコア（独自算出の注目度）: 16.909416809565194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models (DLMs) have emerged as a promising alternative to autoregressive language generation due to their potential for parallel decoding and global refinement of the entire sequence. To unlock this potential, DLM inference must carefully balance generation quality and decoding speed. Recent block-wise DLM decoding methods improve this trade-off by performing diffusion-based decoding sequentially in blocks. However, existing methods typically rely on fixed block schedules or current-step local signals to determine block boundaries, and use conservative confidence-based parallel decoding to avoid conflicts, limiting the quality-speed trade-off. In this paper, we argue that block-wise DLM inference requires more suitable signals for its two core decisions: cross-step signals for determining block boundaries, and token-level conflict signals for parallel decoding. Based on this view, we propose DepCap, a training-free framework for efficient block-wise DLM inference. Specifically, DepCap instantiates the cross-step signal as the influence of the last decoded block and uses it to adaptively determine how far the next block should extend, while identifying a conflict-free subset of tokens for safe parallel decoding within each block, enabling substantial inference acceleration with negligible quality degradation. DepCap is a plug-and-play method applicable to various DLMs, and compatible with existing KV-cache strategies for block-wise DLM. An information-theoretic analysis further suggests that the cumulative last-block influence on a candidate block is approximately additive across tokens, supporting the proposed block-partitioning criterion. Experimental results show that DepCap achieves favorable speed-quality trade-offs across multiple DLM backbones and reasoning and coding benchmarks, with up to 5.63$\times$ speedup without significant performance degradation.
• Abstract（参考訳）: 拡散言語モデル (DLM) は, 並列復号化と全シーケンスのグローバル改良の可能性から, 自己回帰言語生成に代わる有望な代替手段として登場した。 この可能性を解き明かすためには、DLM推論は生成品質と復号速度を慎重にバランスさせなければならない。 近年のブロックワイドDLM復号法は,拡散型復号法をブロック内で逐次実行することにより,このトレードオフを改善している。 しかし、既存の手法は通常、ブロック境界を決定するために固定されたブロックスケジュールや現在のステップのローカル信号に依存し、競合を避けるために保守的な信頼ベースの並列デコードを使用して、品質と速度のトレードオフを制限している。 本稿では,ブロック境界を決定するためのクロスステップ信号と並列デコードのためのトークンレベルの競合信号の2つのコア決定に対して,ブロックワイズDLM推論の方がより適切な信号を必要とすることを論じる。 この観点から,効率的なブロックワイドDLM推論のためのトレーニングフリーフレームワークであるDepCapを提案する。 具体的には、DepCapは、最終復号ブロックの影響としてクロスステップ信号をインスタンス化し、次の復号ブロックがどれくらい拡張すべきかを適応的に決定すると同時に、各ブロック内で安全な並列復号のためのトークンの競合のないサブセットを特定し、無視可能な品質劣化を伴う実質的な推論アクセラレーションを実現する。 DepCapは様々なDLMに適用可能なプラグアンドプレイ方式であり、ブロックワイドDLMのための既存のKVキャッシュ戦略と互換性がある。 情報理論解析により、候補ブロックに対する累積最終ブロックの影響は、トークン間でほぼ付加的であり、提案されたブロック分割基準を支持することが示唆された。 実験結果から、DepCapは複数のDLMバックボーンと推論およびコーディングベンチマークをまたいだ良好な速度品質のトレードオフを実現し、パフォーマンスを著しく低下させることなく最大5.63$\times$スピードアップを実現した。

関連論文リスト

• Advancing Block Diffusion Language Models for Test-Time Scaling [73.54022593833638]
  BDLMにおけるテスト時間スケーリングのための統一的なフレームワークを提案する。 復号化とブロックワイズ生成の両方に適応性を導入する。 BACD, TCCFをTDAR-8Bに適用すると, 強いベースラインよりも顕著な改善が得られた。
  論文  参考訳（メタデータ） (2026-02-10T09:05:07Z)
• DSB: Dynamic Sliding Block Scheduling for Diffusion LLMs [17.284485483927448]
  拡散大言語モデル(dLLM)は、テキスト生成の有望な代替手段として登場した。 広く使われている固定ブロック (naive) スケジュールは意味的難易度に非依存であり、品質と効率の両面での準最適戦略である。 本研究では,動的ブロックの剛性を克服するため,動的サイズを有するスライディングブロックを用いて,トレーニング不要なブロックスケジューリング手法であるDynamic Sliding Block (DSB)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T18:41:38Z)
• Swordsman: Entropy-Driven Adaptive Block Partition for Efficient Diffusion Language Models [40.39823804602205]
  Swordsmanは、拡散言語モデルのためのエントロピー駆動の適応ブロックワイドデコーディングフレームワークである。 隣接するトークン間のエントロピーシフトを特定してブロックを分割し、セマンティックまたは構文的構成境界との整合性を向上する。 トレーニングフリーのフレームワークとして、Swordsman氏は、幅広い評価で最先端のパフォーマンスを実演している。
  論文  参考訳（メタデータ） (2026-02-04T10:27:49Z)
• WeDLM: Reconciling Diffusion Language Models with Standard Causal Attention for Fast Inference [44.87788417755154]
  本稿では,標準因果注意に基づく拡散復号化フレームワークWeDLMを提案する。 WeDLMは強力なARバックボーンの品質を維持しつつ,大幅な高速化を実現している。
  論文  参考訳（メタデータ） (2025-12-28T01:25:48Z)
• From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
  原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。 NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-12-07T10:28:21Z)
• AdaBlock-dLLM: Semantic-Aware Diffusion LLM Inference via Adaptive Block Size [7.442463267121892]
  拡散に基づく大規模言語モデル (dLLM) は並列デコードに固有の能力で注目を集めている。 本稿では,セミARデコードにおける固定ブロックサイズの仮定に挑戦する最初の体系的な研究を提案する。 AdaBlock-dLLMは,実行中のブロックサイズを調整することで,ブロック境界とセマンティックステップを適応的に調整する,トレーニング不要のプラグイン・アンド・プレイスケジューラである。
  論文  参考訳（メタデータ） (2025-09-30T15:53:56Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。