論文の概要: CAI-DLLM: Convergence Aware Inference for Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2608.22646v1
• Date: Sun, 23 Aug 2026 23:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.820541
• Title: CAI-DLLM: Convergence Aware Inference for Diffusion Language Models
• Title（参考訳）: CAI-DLLM:拡散言語モデルに対する収束認識
• Abstract要約: 拡散言語モデルは、多くのトークンを並列に生成できるが、推論中に繰り返しデノイングステップが必要になる。 CAI-DLLMは,第1ステップの信頼度を用いて推論時間を導出し,推論時間を短縮する訓練自由推論手法である。 LLaDA-8B-インストラクタとドリーム-7B-インストラクタを用いたCAI-DLLMの評価を行った。
• 参考スコア（独自算出の注目度）: 1.8883742168400344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion language models can generate many tokens in parallel, but they still require repeated denoising steps during inference. This makes generation costly, especially when the model continues to recompute tokens that are already stable. To address these limitations, we propose CAI-DLLM, a training-free inference method that uses first-step confidence to guide denoising and reduce inference time. Specifically, CAI-DLLM commits easy tokens earlier, allocates more denoising steps to harder tokens, and adjusts decoding schedules across output blocks. As it relies only on first-step confidence signals, it does not require retraining, extra predictors, or weight updates. We evaluate CAI-DLLM on LLaDA-8B-Instruct and Dream-7B-Instruct across math, code, reasoning, commonsense, and long-context tasks. CAI-DLLM achieves up to 18.2x wall clock inference speedup on LLaDA GSM8K while improving accuracy from 76.27% to 77.41%, and up to 13.1x speedup on Dream HumanEval while achieving higher pass@1 than no-cache inference, 48.17% compared with 46.95%. On harder reasoning tasks, speedups reach 44.8x, with a largest accuracy drop of 4.4 points, while energy consumption is reduced by up to 95.3%.
• Abstract（参考訳）: 拡散言語モデルは、多くのトークンを並列に生成できるが、推論中に繰り返しデノイングステップが必要になる。 これにより、特にモデルが既に安定しているトークンを再計算し続けると、生成はコストがかかる。 これらの制約に対処するため,第1ステップの信頼度を用いて推論時間をガイドし,推論時間を短縮するトレーニングフリー推論手法であるCAI-DLLMを提案する。 具体的には、CAI-DLLMは、より簡単なトークンをコミットし、より難しいトークンにより多くのデノイングステップを割り当て、出力ブロック間でデコードスケジュールを調整する。 第一段階の信頼信号にのみ依存するため、再トレーニング、追加の予測器、重み更新は不要である。 LLaDA-8B-インストラクタとドリーム-7B-インストラクタを用いたCAI-DLLMの評価を行った。 CAI-DLLMは、LLaDA GSM8Kで最大18.2倍のウォールクロック推測速度を達成し、精度は76.27%から77.41%に向上し、Dream HumanEvalでは最大13.1倍、非キャッシュ推論では48.17%、46.95%に向上した。 厳しい推論タスクでは、スピードアップは44.8倍に達し、最大精度は4.4ポイント、エネルギー消費は95.3%まで減少する。

関連論文リスト

• Retrofitting Linear Attention into Diffusion Language Models [8.41282954657158]
  拡散言語モデル(dLLMs)は、並列デコーディングによる推論を加速することにより、自己回帰モデルに代わる有望な代替手段を提供する。 最近のdLLMではブロックワイズ半自己回帰デコーディングが一般的であり、各アクティブブロック内でトークンを並列にデノナイズしながら自動回帰的にブロックを生成する。 ブロックハイブリッドアテンションを導入し,従来のブロックに対して線形アテンションを適用しつつ,アクティブデノナイジングブロック内のソフトマックスアテンションを正確に保持する。
  論文  参考訳（メタデータ） (2026-08-06T22:34:20Z)
• CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference [24.176666448303095]
  拡散言語モデルは、多くのトークンを並列に更新するが、実用的なデコーダは、しばしば固定されたdenoising horizonを使用する。 本研究では,CORA-Diffを提案する。CORA-Diffは,元のトランスファールールを保護し,ルールが未解決な位置にのみ信頼とパーシステンスをゲーティングする訓練自由法である。 その結果,タスク品質を保ったままの繰り返し認知を低減し,信頼感と持続性が確実な残留受容を可能にすることが示唆された。
  論文  参考訳（メタデータ） (2026-07-31T07:32:10Z)
• Improved Large Language Diffusion Models [115.83169414681767]
  8Bマスク付き拡散言語モデルである EmphiLLaDA について検討した。 iLLaDAは、事前トレーニングと教師付き微調整(SFT)、12Tトークンへの事前トレーニング、および12エポックのための25Bトークン命令コーパスの微調整を通じて、マスク付き拡散目標を維持している。
  論文  参考訳（メタデータ） (2026-06-24T02:51:36Z)
• SAID: Accelerating Diffusion-Based Language Models via Scaffold-Aware Iterative Decoding [11.233923872369202]
  拡散大言語モデル (DLLM) は、双方向コンテキストで劣化したトークンを反復的にデノベートすることで、非自己回帰的な計算生成を可能にする。 本稿では,トークン間の再配置によってDLLMを高速化するScaffold-Aware Iterative DecodingフレームワークであるSAIDを提案する。 数学、コーディング、知識ベンチマークにおけるLLaDA-8BとLLaDA 1.5の実験は、SAIDが競争性能を維持しながら最大9.1倍の速度で推論を著しく加速することを示している。
  論文  参考訳（メタデータ） (2026-06-03T14:56:42Z)
• Roll Out and Roll Back: Diffusion LLMs are Their Own Efficiency Teachers [76.15132587294862]
  Wide-In, Narrow-Out (WINO) は、リボッキング可能な並列生成を可能にするトレーニング不要の復号アルゴリズムである。 WINO+は、WINOが生成した検証された認知軌道をモデルパラメータに注入し、トレーニングを効率的な推論と整合させる。 LLaDAとMMaDAの実験では、WINOは品質と効率の両方を改善し、WINO+はこの進歩をさらに強化している。
  論文  参考訳（メタデータ） (2026-05-16T11:27:40Z)
• LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models [49.93891888238178]
  ブロックワイド拡散言語モデル(DLM)は任意の順序で複数のトークンを生成し、自動回帰復号パイプラインに代わる有望な代替手段を提供する。 異なるクエリが異なるプレフィックス位置を選択する場合、KVインフレーション問題により、DLM上では裸のスパースアテンションが失敗する。 キャッシュされたプレフィックスアテンション結果を安定したトークンに再利用し、アクティブトークンのみにスパースアテンションを適用するLOSA(Locality-aware Sparse Attention)を提案する。
  論文  参考訳（メタデータ） (2026-04-13T20:53:51Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Diffusion Language Models Know the Answer Before Decoding [56.96815863705218]
  拡散言語モデル (DLM) は自己回帰的アプローチの代替として登場した。 我々の研究は、DLMの早期回答収束の見過ごされた特性を強調し、活用する。 Prophetは、早期コミット復号を可能にするトレーニングフリーの高速復号化パラダイムである。
  論文  参考訳（メタデータ） (2025-08-27T15:40:25Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。