論文の概要: LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models

• arxiv url: http://arxiv.org/abs/2607.16339v2
• Date: Wed, 22 Jul 2026 03:14:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 16:42:31.511484
• Title: LaCache: Exact Caching and Precision-Adaptive Inference for Diffusion Large Language Models
• Title（参考訳）: LaCache: 拡散大言語モデルのための正確なキャッシングと精度適応推論
• Abstract要約: DLLMは、テキスト生成におけるSAR(Semi-Autoregressive Decoding)による並列生成を可能にする。 現在の方法は、オペレータレベルの深刻な冗長性に悩まされている。 トレーニング不要なアクセラレーションフレームワークであるLaCacheを提案する。
• 参考スコア（独自算出の注目度）: 9.146969118551167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion-based Large Language Models(DLLMs) enable parallel generation via Semi-Autoregressive (SAR) decoding in text generation. However, current methods suffer from severe operator-level redundancy: they recompute the entire sequence during denoising steps, ignoring that the prefix and masked suffix remain invariant within a block. We propose LaCache, a training-free acceleration framework that alleviates this redundancy through lossless caching and mixed precision. Specifically, LaCache employs Lossless State Memoization (LSM) by caching three types of intermediate results: (i) EmbedCache for embedding outputs, (ii) RoPECache for token-wise pre-attention states, and (iii) FACache for the online softmax statistics within FlashAttention. These caches allow the model to skip redundant computation on unchanged tokens without altering the output. To further alleviate memory-bandwidth bottlenecks, LaCache inegrates a per-group FP8 quantization strategy for FFN layers, tailored to step-dependent activation distributions across the diffusion process. Experiments demonstrate that LaCache alone achieves approximately 1.3X end-to-end speedup over vanilla DLLM. When combined with existing acceleration methods, LaCache reaches up to 40.2X end-to-end speedup while maintaining comparable task accuracy.
• Abstract（参考訳）: 拡散に基づく大規模言語モデル(DLLM)は、テキスト生成における半自己回帰(SAR)デコードによる並列生成を可能にする。 しかし、現在のメソッドは厳しい演算子レベルの冗長性に悩まされている。それらは、プレフィックスとマスクされた接尾辞がブロック内で不変であることを無視して、デノナイジングステップ中にシーケンス全体を再コンパイルする。 損失のないキャッシュと混合精度により、この冗長性を緩和する、トレーニング不要なアクセラレーションフレームワークであるLaCacheを提案する。 具体的には、LaCacheは3種類の中間結果をキャッシュすることで、LSM(Losless State Memoization)を採用している。 (i)出力を埋め込むための EmbedCache (ii)トークン単位の事前保持状態用のRoPECache、及び (iii)FlashAttention内のオンラインソフトマックス統計のためのFACache。 これらのキャッシュは、出力を変更することなく、変更のないトークンの冗長な計算を省略することができる。 メモリバンド幅のボトルネックを緩和するために、LaCacheは拡散プロセス全体にわたるステップ依存の活性化分布に合わせて、FFN層に対するグループごとのFP8量子化戦略を抽出する。 実験によると、LaCacheはバニラDLLMよりも約1.3倍のスピードアップを実現している。 既存のアクセラレーションメソッドと組み合わせると、LaCacheは最大40.2倍のエンドツーエンドのスピードアップを達成できる。

関連論文リスト

• OmniCache: Multidimensional Hierarchical Feature Caching For Diffusion Models [8.344012950413108]
  SD3、FLUX、最近のビデオ拡散変換器を含む高解像度画像およびビデオ拡散モデルは、生成品質を大幅に改善したが、推論時には高価である。 モデル重みの変更や再トレーニングではなく,中間拡散特性の冗長性を活用することで,この非効率性に対処する。 多次元機能再利用を実現する階層型キャッシュフレームワークであるOmniCacheを提案する。
  論文  参考訳（メタデータ） (2026-07-26T21:14:48Z)
• X-Cache: Cross-Chunk Block Caching for Few-Step Autoregressive World Models Inference [37.22440439525785]
  X-Cacheはトレーニング不要なアクセラレーション手法で、連続的な生成チャンクにまたがってキャッシュする。 Xキャッシュは最小の劣化を保ちながら2.6倍のウォールクロックスピードアップで71%のブロックスキップ速度を達成する。
  論文  参考訳（メタデータ） (2026-04-22T07:36:59Z)
• WorldCache: Content-Aware Caching for Accelerated Video World Models [50.7543797435026]
  我々はPerception-Constrained Dynamic CaCacheフレームワークであるtextbfWorldCacheを紹介する。 WorldCacheは、機能をいつ、どのように再利用するかを改善します。 PAI-Benchで評価されたCosmos-2.5-2Bでは、WorldCacheはtextbf$2.3times$推論スピードアップを実現し、textbf99.4%のベースライン品質を維持している。
  論文  参考訳（メタデータ） (2026-03-23T17:59:54Z)
• PreciseCache: Precise Feature Caching for Efficient and High-fidelity Video Generation [35.47114707080758]
  高い計算コストと遅い推論は、ビデオ生成モデルの実践的応用を妨げる。 我々は,真に冗長な計算を正確に検出し,スキップするプラグイン・アンド・プレイ・フレームワークである textbfPreciseCache を提案する。
  論文  参考訳（メタデータ） (2026-03-01T08:08:49Z)
• SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching [75.02865981328509]
  キャッシュは、以前計算されたモデル出力をタイムステップで再利用することで計算を減らす。 本稿では,動的キャッシュポリシーであるSensitivity-Aware Caching(SenCache)を提案する。 SenCacheは、同様の計算予算の下で、既存のキャッシュメソッドよりも視覚的品質が向上する。
  論文  参考訳（メタデータ） (2026-02-27T17:36:09Z)
• LLMCache: Layer-Wise Caching Strategies for Accelerated Reuse in Transformer Inference [0.0]
  トランスフォーマーベースの言語モデルは、幅広いタスクで顕著なパフォーマンスを達成したが、その高い推論レイテンシは、リアルタイムおよび大規模デプロイメントにおいて大きな課題となっている。 LLMCacheは,入力シーケンスのセマンティックな類似性に基づいて中間的アクティベーションを再利用することで,トランスフォーマー推論を高速化する新しいレイヤワイドキャッシュフレームワークである。
  論文  参考訳（メタデータ） (2025-12-18T18:18:57Z)
• DiCache: Let Diffusion Model Determine Its Own Cache [62.954717254728166]
  DiCacheは、実行時に拡散モデルを加速するためのトレーニング不要のアダプティブキャッシュ戦略である。 Online Probe Profiling Schemeは浅層オンラインプローブを利用して,キャッシュエラーのオンザフライインジケータをリアルタイムで取得する。 Dynamic Cache Trajectory Alignmentは、マルチステップの履歴キャッシュから出力されるディープ層の特徴を近似する。
  論文  参考訳（メタデータ） (2025-08-24T13:30:00Z)
• LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
  LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。 LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
  論文  参考訳（メタデータ） (2025-07-14T19:09:57Z)
• Less is Enough: Training-Free Video Diffusion Acceleration via Runtime-Adaptive Caching [57.7533917467934]
  EasyCacheは、ビデオ拡散モデルのためのトレーニング不要のアクセラレーションフレームワークである。 我々は,OpenSora,Wan2.1,HunyuanVideoなどの大規模ビデオ生成モデルについて包括的な研究を行っている。 提案手法は,従来のベースラインと比較して推定時間を最大2.1-3.3$times$に短縮する。
  論文  参考訳（メタデータ） (2025-07-03T17:59:54Z)
• FastCache: Fast Caching for Diffusion Transformer Through Learnable Linear Approximation [43.83288560196838]
  DiT (Diffusion Transformer) は強力な生成モデルであるが、その反復構造と深部変圧器スタックのために計算集約性を維持している。 FastCacheは、DiT推論を高速化する隠れ状態レベルのキャッシュおよび圧縮フレームワークである。 複数のDiT変種にまたがる実証的な評価は、レイテンシとメモリ使用量の大幅な削減を示している。
  論文  参考訳（メタデータ） (2025-05-26T05:58:49Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• DeepCache: Accelerating Diffusion Models for Free [65.02607075556742]
  DeepCacheは、モデルアーキテクチャの観点から拡散モデルを加速するトレーニング不要のパラダイムである。 DeepCacheは拡散モデルのシーケンシャルなデノナイジングステップで観測される時間的冗長性に乗じている。 同じスループットで、DeepCacheはDDIMやPLMSで、事実上同等または極端に改善された結果を達成する。
  論文  参考訳（メタデータ） (2023-12-01T17:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。