論文の概要: OmniCache: A Trajectory-Oriented Global Perspective on Training-Free Cache Reuse for Diffusion Transformer Models

• arxiv url: http://arxiv.org/abs/2508.16212v1
• Date: Fri, 22 Aug 2025 08:36:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.321437
• Title: OmniCache: A Trajectory-Oriented Global Perspective on Training-Free Cache Reuse for Diffusion Transformer Models
• Title（参考訳）: OmniCache: 拡散トランスフォーマーモデルのためのトレーニング不要キャッシュ再利用のための軌道指向グローバルな視点
• Authors: Huanpeng Chu, Wei Wu, Guanyu Fen, Yutao Zhang,
• Abstract要約: OmniCacheは,デノナイジングプロセスに固有のグローバル冗長性を生かした,トレーニング不要なアクセラレーション手法である。 我々は,モデルのサンプリング軌跡を体系的に解析し,サンプリングプロセス全体にわたってキャッシュ再利用を戦略的に分散する。 提案手法は, 競争力のある生成品質を維持しながら, サンプリングプロセスの高速化を図っている。
• 参考スコア（独自算出の注目度）: 5.2258248597807535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diffusion models have emerged as a powerful paradigm for generative tasks such as image synthesis and video generation, with Transformer architectures further enhancing performance. However, the high computational cost of diffusion Transformers-stemming from a large number of sampling steps and complex per-step computations-presents significant challenges for real-time deployment. In this paper, we introduce OmniCache, a training-free acceleration method that exploits the global redundancy inherent in the denoising process. Unlike existing methods that determine caching strategies based on inter-step similarities and tend to prioritize reusing later sampling steps, our approach originates from the sampling perspective of DIT models. We systematically analyze the model's sampling trajectories and strategically distribute cache reuse across the entire sampling process. This global perspective enables more effective utilization of cached computations throughout the diffusion trajectory, rather than concentrating reuse within limited segments of the sampling procedure.In addition, during cache reuse, we dynamically estimate the corresponding noise and filter it out to reduce its impact on the sampling direction.Extensive experiments demonstrate that our approach accelerates the sampling process while maintaining competitive generative quality, offering a promising and practical solution for efficient deployment of diffusion-based generative models.
• Abstract（参考訳）: 拡散モデルは、画像合成やビデオ生成といった生成タスクのための強力なパラダイムとして登場し、トランスフォーマーアーキテクチャはパフォーマンスをさらに向上している。 しかし、多数のサンプリングステップと複雑なステップ毎の計算から、拡散トランスフォーマーの高計算コストを考えると、リアルタイムデプロイメントにおいて大きな課題が浮かび上がっている。 本稿では,デノナイズプロセスに固有のグローバル冗長性を生かした,トレーニング不要なアクセラレーション手法であるOmniCacheを紹介する。 ステップ間の類似性に基づいてキャッシュ戦略を決定する既存の手法と異なり,本手法はDITモデルのサンプリングの観点からいる。 我々は,モデルのサンプリング軌跡を体系的に解析し,サンプリングプロセス全体にわたってキャッシュ再利用を戦略的に分散する。 このグローバルな視点は、サンプリング手順の限られたセグメント内での再利用を集中させるのではなく、拡散軌道全体のキャッシュ計算をより効果的に活用することを可能にし、さらに、キャッシュ再利用中は、対応するノイズを動的に推定し、サンプリング方向への影響を低減し、より大規模な実験により、我々のアプローチが、競争力のある生成品質を維持しながらサンプリングプロセスを加速し、拡散に基づく生成モデルの効率的な展開のための有望かつ実用的なソリューションを提供することを示した。

関連論文リスト

• Quantizing Diffusion Models from a Sampling-Aware Perspective [43.95032520555463]
  本稿では,混合次軌道アライメント手法を考案したサンプリング対応量子化手法を提案する。 複数のデータセットにまたがるスパースステップ高速サンプリング実験により,本手法は高速サンプリング器の高速収束特性を保っていることが示された。
  論文  参考訳（メタデータ） (2025-05-04T20:50:44Z)
• Arbitrary-steps Image Super-resolution via Diffusion Inversion [68.78628844966019]
  本研究では,拡散インバージョンに基づく新しい画像超解像(SR)手法を提案する。 本研究では,拡散モデルの中間状態を構築するための部分雑音予測戦略を設計する。 トレーニングが完了すると、このノイズ予測器を使用して、拡散軌道に沿ってサンプリングプロセスを部分的に初期化し、望ましい高分解能結果を生成する。
  論文  参考訳（メタデータ） (2024-12-12T07:24:13Z)
• Diffusing Differentiable Representations [60.72992910766525]
  本稿では,事前学習した拡散モデルを用いて,微分可能な表現(拡散)をサンプリングする,新しい学習自由な手法を提案する。 差分によって引き起こされるサンプルに対する暗黙の制約を特定し、この制約に対処することで、生成されたオブジェクトの一貫性と詳細が大幅に改善されることを示す。
  論文  参考訳（メタデータ） (2024-12-09T20:42:58Z)
• Sequential Posterior Sampling with Diffusion Models [15.028061496012924]
  条件付き画像合成における逐次拡散後サンプリングの効率を向上させるため,遷移力学をモデル化する新しい手法を提案する。 本研究では,高フレームレート心エコー画像の現実的データセットに対するアプローチの有効性を実証する。 提案手法は,画像の拡散モデルとリアルタイム推論を必要とする他の領域における拡散モデルのリアルタイム適用の可能性を開く。
  論文  参考訳（メタデータ） (2024-09-09T07:55:59Z)
• Diffusion Spectral Representation for Reinforcement Learning [17.701625371409644]
  本稿では,表現学習の観点からの強化学習に拡散モデルの柔軟性を活用することを提案する。 拡散モデルとエネルギーベースモデルとの接続を利用して拡散スペクトル表現(Diff-SR)を開発する。 Diff-SRは、拡散モデルからのサンプリングの難易度と推論コストを明示的に回避しつつ、効率的なポリシー最適化と実用的なアルゴリズムを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-06-23T14:24:14Z)
• Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
  拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。 本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。 実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-03T18:49:57Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。