Fugu-MT 論文翻訳(概要): dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching

論文の概要: dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching

arxiv url: http://arxiv.org/abs/2506.06295v1
Date: Sat, 17 May 2025 15:50:46 GMT
ステータス: 翻訳完了
システム内更新日: 2025-06-16 03:13:19.029859
Title: dLLM-Cache: Accelerating Diffusion Large Language Models with Adaptive Caching
Title（参考訳）: dLLM-Cache: 適応キャッシングによる拡散大言語モデルの高速化
Authors: Zhiyuan Liu, Yicun Yang, Yaojie Zhang, Junjie Chen, Chang Zou, Qingyuan Wei, Shaobo Wang, Linfeng Zhang,
Abstract要約: 拡散に基づく大規模言語モデルは、反復的にマスキングされたセグメントによってテキストを生成する。 dLLMは高い推論遅延に悩まされる。従来のARMアクセラレーション技術は、dLLMと互換性がない。トレーニング不要な適応型キャッシュフレームワークであるdLLM-Cacheを提案する。
参考スコア（独自算出の注目度）: 27.114862565164145
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Autoregressive Models (ARMs) have long dominated the landscape of Large Language Models. Recently, a new paradigm has emerged in the form of diffusion-based Large Language Models (dLLMs), which generate text by iteratively denoising masked segments. This approach has shown significant advantages and potential. However, dLLMs suffer from high inference latency. Traditional ARM acceleration techniques, such as Key-Value caching, are incompatible with dLLMs due to their bidirectional attention mechanism. To address this specific challenge, our work begins with a key observation that dLLM inference involves a static prompt and a partially dynamic response, where most tokens remain stable across adjacent denoising steps. Based on this, we propose dLLM-Cache, a training-free adaptive caching framework that combines long-interval prompt caching with partial response updates guided by feature similarity. This design enables efficient reuse of intermediate computations without compromising model performance. Extensive experiments on representative dLLMs, including LLaDA 8B and Dream 7B, show that dLLM-Cache achieves up to 9.1 x speedup over standard inference without compromising output quality. Notably, our method brings dLLM inference latency close to that of ARMs under many settings. Codes are provided in the supplementary material and will be released publicly on GitHub.
Abstract（参考訳）: 自己回帰モデル(ARM)は、長い間、大規模言語モデルのランドスケープを支配してきた。近年,拡散型大規模言語モデル (dLLMs) の形で新たなパラダイムが登場し,マスキングセグメントを反復的にデノベートすることでテキストを生成する。このアプローチは大きな利点と可能性を示しています。しかし、dLLMは高い推論遅延に悩まされる。キーバリューキャッシュのような従来のARMアクセラレーション技術は、その双方向の注意機構のため、dLLMと互換性がない。この課題に対処するために、我々の研究は、dLLM推論が静的なプロンプトと部分的にダイナミックな応答を伴い、ほとんどのトークンが隣接する分母ステップで安定しているというキーとなる観察から始まります。これに基づいて,長いインターバルプロンプトキャッシュと機能類似性によってガイドされる部分応答更新を組み合わせた,トレーニング不要な適応キャッシュフレームワークであるdLLM-Cacheを提案する。この設計により、モデル性能を損なうことなく、中間計算の効率的な再利用が可能となる。 LLaDA 8BやDream 7Bといった代表的dLLMの広範な実験は、dLLMキャッシュが出力品質を損なうことなく標準推論よりも最大9.1倍のスピードアップを達成することを示した。特に、我々の手法は、多くの設定下で、ARMのそれに近いdLLM推論遅延をもたらす。コードは補足資料で提供されており、GitHubで公開される予定である。

関連論文リスト

DiffuRank: Effective Document Reranking with Diffusion Language Models [71.16830004674513]
拡散言語モデル(dLLM)に基づいて構築されたフレームワークであるDiffuRankを提案する。 dLLMは、左から右への順序に制約されないより柔軟なデコーディングと生成プロセスをサポートする。モデルサイズが類似した自己回帰LDMに匹敵する性能を示す。
論文参考訳（メタデータ） (2026-02-13T02:18:14Z)
Streaming-dLLM: Accelerating Diffusion LLMs via Suffix Pruning and Dynamic Decoding [36.74241893088594]
拡散大言語モデル(dLLM)は、自然言語生成に魅力的なパラダイムを提供する。最近の研究はKVキャッシュの再利用や復号化を通じて推論を加速しているが、ブロックワイド拡散プロセスにおける本質的な非効率性を見落としている。本稿では,空間次元と時間次元の両方にわたって推論を合理化する学習自由フレームワークStreaming-dLLMを提案する。
論文参考訳（メタデータ） (2026-01-25T17:36:04Z)
Mosaic: Unlocking Long-Context Inference for Diffusion LLMs via Global Memory Planning and Dynamic Peak Taming [34.16016695663811]
拡散に基づく大規模言語モデル (dLLMs) は,グローバルプランニングと反復的改良を実現するために,同時認知を利用した,有望なパラダイムとして登場した。既存の推論システムは、厳密なシステム非効率のため、このパラダイムに不適である。ローカルな静的管理からグローバルな動的パラダイムに移行するメモリ効率のよい推論システムであるMosaicを提案する。
論文参考訳（メタデータ） (2026-01-10T13:17:08Z)
Diffusion LLM with Native Variable Generation Lengths: Let [EOS] Lead the Way [23.877854550033224]
拡散に基づく大規模言語モデル (dLLMs) は、並列テキスト生成にかなりの可能性を秘めている。現在のdLLMは、デコード前にdLLMの生成長を決定する必要があることを示す固定生成長に悩まされている。本稿では,dLLM-Var と略して,固有変数生成長を持つ拡散 LLM の学習を提案する。
論文参考訳（メタデータ） (2025-10-28T16:32:43Z)
dInfer: An Efficient Inference Framework for Diffusion Language Models [54.80918957287927]
拡散に基づく大規模言語モデル (dLLM) は自己回帰(AR) LLM に代わる有望な代替品として登場した。本稿では、dLLM推論のための効率的かつ効率的なフレームワークであるdInferについて述べる。
論文参考訳（メタデータ） (2025-10-09T16:19:42Z)
dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
論文参考訳（メタデータ） (2025-09-30T16:32:52Z)
Fast-dLLM v2: Efficient Block-Diffusion LLM [64.38006546510337]
Fast-dLLM v2はブロック拡散言語モデルで、訓練済みのARモデルをdLLMに適応して並列テキストを生成する。これは、Dream(580Bトークン)のようなフルアテンション拡散LDMと比較して、トレーニングデータの500倍の減少を示す。
論文参考訳（メタデータ） (2025-09-30T14:40:18Z)
Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [58.044803442346115]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおいてブレークスルーを実現するが、推論中に計算の複雑さやメモリオーバーヘッドに悩まされる。 Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークであり、遅延双方向スパースキャッシングを経由するスパースアテンションである。
論文参考訳（メタデータ） (2025-08-04T16:14:03Z)
Beyond Fixed: Variable-Length Denoising for Diffusion Large Language Models [74.15250326312179]
拡散大言語モデルは効率的な並列生成とグローバルモデリングを提供する。 DLLMの主流の応用は、静的に事前定義された生成長の必要性によって妨げられている。 DAEDALは,動的適応長拡張を可能にする新しい学習自由化戦略である。
論文参考訳（メタデータ） (2025-08-01T17:56:07Z)
DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation [68.19756761027351]
拡散大言語モデル(dLLM)は自己回帰(AR)モデルの魅力的な代替品である。本研究は,それらの認知過程と強化学習手法について考察する。我々の研究は、dLLM生成のメカニズムについて深い洞察を与え、効果的な拡散ネイティブなRLトレーニングフレームワークを提供します。
論文参考訳（メタデータ） (2025-06-25T17:35:47Z)
Accelerating Diffusion Large Language Models with SlowFast: The Three Golden Principles [25.10417042130122]
拡散に基づく言語モデル (dLLMs) は従来の自己回帰型LLMに代わる有望な代替品として登場した。信頼ベースや半自己回帰復号のような既存のdLLMのサンプリング戦略は、しばしば静的な振る舞いに悩まされる。探索段階と高速化段階を交互に行う新しい動的サンプリング手法であるSlowFast Smplingを提案する。
論文参考訳（メタデータ） (2025-06-12T16:08:28Z)
MNN-LLM: A Generic Inference Engine for Fast Large Language Model Deployment on Mobile Devices [4.385815629175844]
MNN-LLMは、モバイルデバイスへの大規模言語モデルのデプロイを加速するために設計されたフレームワークである。モデル量子化とDRAM-FlashハイブリッドストレージによるLCMのランタイム特性に対処する。特に、MNN-LLMは、現在のLLM固有のフレームワークと比較して8.6倍の速度向上を実現している。
論文参考訳（メタデータ） (2025-06-12T07:45:29Z)
Esoteric Language Models [31.619674001793875]
我々は,ARとMDMのパラダイムを融合した新しいモデルのファミリーであるEso-LMを紹介する。 Eso-LMは、標準言語モデリングベンチマークに新しい状態を設定した。我々は、並列生成を保持しながら、DMs*のKVキャッシュを導入する**です。
論文参考訳（メタデータ） (2025-06-02T17:47:27Z)
Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
論文参考訳（メタデータ） (2025-05-28T14:03:02Z)
Accelerating Diffusion Language Model Inference via Efficient KV Caching and Guided Diffusion [16.99620863197586]
拡散言語モデルは並列トークン生成と本質的に双方向性を提供する。最先端拡散モデル(ドリーム7B、LLaDA 8Bなど)は推論が遅い。我々は,トークンアンマキングを監督するために,軽量な事前学習型自己回帰モデルを用いた学習自由度法であるガイドド拡散を導入する。拡散言語モデルが初めて、広く採用されている自己回帰モデルと同等かつ高速なレイテンシを実現する。
論文参考訳（メタデータ） (2025-05-27T17:39:39Z)
Dimple: Discrete Diffusion Multimodal Large Language Model with Parallel Decoding [53.82301522384719]
Dimple, the first Discrete Multimodal Large Language Model (DMLLM)を提案する。我々は,初期自己回帰フェーズとその後の拡散フェーズを組み合わせた新しい訓練パラダイムを設計する。 Dimple-7BはLLaVA-を3.9%上回り、DMLLMは自己回帰モデルに匹敵する性能を達成できることを示した。
論文参考訳（メタデータ） (2025-05-22T17:55:04Z)
dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
論文参考訳（メタデータ） (2025-05-21T17:32:10Z)
AB-Cache: Training-Free Acceleration of Diffusion Models via Adams-Bashforth Cached Feature Reuse [19.13826316844611]
拡散モデルは生成的タスクにおいて顕著に成功したが、反復的認知過程は推論を遅くする。本稿では,第2次Adams-Bashforth法を用いて認知過程を解析することにより理論的に理解する。キャッシュされた結果を直接再利用する代わりに,拡散モデルに対するキャッシングに基づく新しい高速化手法を提案する。
論文参考訳（メタデータ） (2025-04-13T08:29:58Z)
DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。 DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
論文参考訳（メタデータ） (2023-12-01T17:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。