論文の概要: Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM

• arxiv url: http://arxiv.org/abs/2606.26120v1
• Date: Wed, 27 May 2026 02:47:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-28 23:46:52.334282
• Title: Dynamic-dLLM: Dynamic Cache-Budget and Adaptive Parallel Decoding for Training-Free Acceleration of Diffusion LLM
• Title（参考訳）: 動的dLLM:動的キャッシュ予算と適応並列デコーディングによる拡散LDMの学習自由加速
• Abstract要約: トレーニング不要なフレームワークであるDynamic-dLLMを提案する。 LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-7B-Instructといったモデルの実験では、動的dLLMが推論速度を大幅に改善することを示した。
• 参考スコア（独自算出の注目度）: 35.77320928871856
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Diffusion Large Language Models (dLLMs) offer a promising alternative to autoregressive models, excelling in text generation tasks due to their bidirectional attention mechanisms. However, their computational complexity scales on the order of L cubed with the sequence length L. This poses significant challenges for long-sequence and real-time applications, primarily due to the lack of compatibility with key-value caching and the non-autoregressive nature of denoising steps. Existing acceleration methods rely on static caching or parallel decoding strategies, which fail to account for the dynamic behavior of token properties across layers and decoding steps. We propose Dynamic-dLLM, a training-free framework that enhances dLLM inference efficiency through two components: Dynamic Cache Updating (DCU), which adaptively allocates cache-update budgets based on layer-wise token dynamics, and Adaptive Parallel Decoding (APD), which dynamically calibrates decoding thresholds to balance generation quality and efficiency. Extensive experiments on models like LLaDA-8B-Instruct, LLaDA-1.5, and Dream-v0-7B-Instruct across benchmarks such as MMLU, GSM8K, and HumanEval demonstrate that Dynamic-dLLM significantly improves inference speed. It attains an average speedup exceeding 3 times while maintaining performance. Dynamic-dLLM outperforms state-of-the-art acceleration methods and provides a plug-and-play solution for efficient dLLM deployment without compromising performance. The code is available at https://github.com/TianyiWu233/DYNAMIC-DLLM.
• Abstract（参考訳）: Diffusion Large Language Models (dLLMs)は、自動回帰モデルに代わる有望な代替手段を提供する。 これは、キー値キャッシングとの互換性の欠如と、デノナイジングステップの非自己回帰的な性質が主な原因である。 既存のアクセラレーションメソッドは静的キャッシュや並列デコード戦略に依存しており、レイヤ間のトークンプロパティの動的な振る舞いやデコードステップを考慮できない。 動的キャッシュ更新 (DCU) と適応並列デコーディング (APD) の2つのコンポーネントを用いて,デコード閾値を動的に校正し,生成品質と効率のバランスをとる。 LLaDA-8B-Instruct、LLaDA-1.5、Dream-v0-7B-Instructのようなモデルに対する大規模な実験は、MMLU、GSM8K、HumanEvalなどのベンチマークで、Dynamic-dLLMが推論速度を大幅に改善することを示した。 性能を維持しながら平均3倍以上のスピードアップを達成する。 Dynamic-dLLMは最先端のアクセラレーション手法より優れており、性能を損なうことなく効率的なdLLMデプロイメントのためのプラグイン・アンド・プレイソリューションを提供する。 コードはhttps://github.com/TianyiWu233/DYNAMIC-DLLMで公開されている。

関連論文リスト

• FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
  FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。 トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。 この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
  論文  参考訳（メタデータ） (2026-06-01T06:58:15Z)
• MemDLM: Memory-Enhanced DLM Training [56.40248490616793]
  Diffusion Language Models (DLM)は、Auto-Regressive (AR)モデルよりも優れた利点を提供する。 彼らは列車の干渉ミスマッチに悩まされている。 本稿では,模擬復調処理をトレーニングに組み込んだメモリ拡張DLMを提案する。
  論文  参考訳（メタデータ） (2026-03-23T17:39:56Z)
• AdaFuse: Accelerating Dynamic Adapter Inference via Token-Level Pre-Gating and Fused Kernel Optimization [84.25316984309725]
  動的スパース構造とパラメータ効率のよいアダプタ(例えばLoRA)の統合は、大規模言語モデル(LLM)を拡張するための強力な技術である。 計算負荷は最小限に抑えられるが、計算のレイテンシが急上昇し、復号速度が2.5倍以上遅くなる。 AdaFuseはアルゴリズムと基盤となるハードウェアシステムとの緊密な協調設計に基づいて構築されたフレームワークで、効率的な動的アダプタ実行を実現する。
  論文  参考訳（メタデータ） (2026-03-12T12:46:42Z)
• Orchestrating Dual-Boundaries: An Arithmetic Intensity Inspired Acceleration Framework for Diffusion Language Models [8.516574616235427]
  ODB-dLLMはdLLM推論を加速するために二重境界を編成するフレームワークである。 我々は,ODB-dLLMがベースラインdLLMとFast-dLLMで46-162xと2.63-6.30xの高速化を達成したことを示す。
  論文  参考訳（メタデータ） (2025-11-24T13:36:54Z)
• Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
  Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。 これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
  論文  参考訳（メタデータ） (2025-09-30T14:40:18Z)
• ASPD: Unlocking Adaptive Serial-Parallel Decoding by Exploring Intrinsic Parallelism in LLMs [34.477777651648914]
  大規模言語モデル(LLM)は、自動回帰デコードパラダイムのため、推論遅延の大きな問題を生じさせる。 本稿では、並列化可能なデータの自動構築と効率的な並列化機構の2つの課題に対処する適応シリアル-パラレルデコーディング(ASPD)を提案する。 我々のフレームワークは、効率的なLCM並列推論のための基盤となるベンチマークを設定し、AIによるカスタマーサービスボットや回答検索エンジンのようなレイテンシに敏感なアプリケーションへのデプロイの道を開く。
  論文  参考訳（メタデータ） (2025-08-12T12:35:55Z)
• Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
  Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。 現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
  論文  参考訳（メタデータ） (2025-08-04T16:14:03Z)
• Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding [51.711605076319216]
  拡散に基づく大規模言語モデル (Diffusion LLM) は、並列復号機能を持つ非自己回帰テキスト生成を約束している。 本稿では,双方向拡散モデルに適したブロック単位で近似したKVキャッシュ機構を提案する。 本稿では,信頼しきい値を超えるトークンを選択的に復号し,依存関係違反を軽減し,生成品質を維持できる信頼度対応並列復号方式を提案する。
  論文  参考訳（メタデータ） (2025-05-28T17:39:15Z)
• dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching [27.114862565164145]
  拡散に基づく大規模言語モデルは、反復的にマスキングされたセグメントによってテキストを生成する。 dLLMは高い推論遅延に悩まされる。 従来のARMアクセラレーション技術は、dLLMと互換性がない。 トレーニング不要な適応型キャッシュフレームワークであるdLLM-Cacheを提案する。
  論文  参考訳（メタデータ） (2025-05-17T15:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。