論文の概要: OmniCache: A Trajectory-Oriented Global Perspective on Training-Free Cache Reuse for Diffusion Transformer Models
- arxiv url: http://arxiv.org/abs/2508.16212v2
- Date: Mon, 25 Aug 2025 03:07:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-26 12:26:22.57788
- Title: OmniCache: A Trajectory-Oriented Global Perspective on Training-Free Cache Reuse for Diffusion Transformer Models
- Title（参考訳）: OmniCache: 拡散トランスフォーマーモデルのためのトレーニング不要キャッシュ再利用のための軌道指向グローバルな視点
- Authors: Huanpeng Chu, Wei Wu, Guanyu Fen, Yutao Zhang,
- Abstract要約: DiffusionTransformersは、多数のサンプリングステップと複雑なステップ毎の計算から、リアルタイムデプロイメントにおいて重要な課題を提示する。
OmniCacheは,デノナイジングプロセスに固有のグローバル冗長性を生かした,トレーニング不要なアクセラレーション手法である。
- 参考スコア（独自算出の注目度）: 5.2258248597807535
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Diffusion models have emerged as a powerful paradigm for generative tasks such as image synthesis and video generation, with Transformer architectures further enhancing performance. However, the high computational cost of diffusion Transformers-stemming from a large number of sampling steps and complex per-step computations-presents significant challenges for real-time deployment. In this paper, we introduce OmniCache, a training-free acceleration method that exploits the global redundancy inherent in the denoising process. Unlike existing methods that determine caching strategies based on inter-step similarities and tend to prioritize reusing later sampling steps, our approach originates from the sampling perspective of DIT models. We systematically analyze the model's sampling trajectories and strategically distribute cache reuse across the entire sampling process. This global perspective enables more effective utilization of cached computations throughout the diffusion trajectory, rather than concentrating reuse within limited segments of the sampling procedure. In addition, during cache reuse, we dynamically estimate the corresponding noise and filter it out to reduce its impact on the sampling direction. Extensive experiments demonstrate that our approach accelerates the sampling process while maintaining competitive generative quality, offering a promising and practical solution for efficient deployment of diffusion-based generative models.
- Abstract（参考訳）: 拡散モデルは、画像合成やビデオ生成といった生成タスクのための強力なパラダイムとして登場し、トランスフォーマーアーキテクチャはパフォーマンスをさらに向上している。
しかし、多数のサンプリングステップと複雑なステップ毎の計算から、拡散トランスフォーマーの高計算コストを考えると、リアルタイムデプロイメントにおいて大きな課題が浮かび上がっている。
本稿では,デノナイズプロセスに固有のグローバル冗長性を生かした,トレーニング不要なアクセラレーション手法であるOmniCacheを紹介する。
ステップ間の類似性に基づいてキャッシュ戦略を決定する既存の手法と異なり,本手法はDITモデルのサンプリングの観点からいる。
我々は,モデルのサンプリング軌跡を体系的に解析し,サンプリングプロセス全体にわたってキャッシュ再利用を戦略的に分散する。
この大局的な視点は、サンプリング手順の限られたセグメント内での再利用に集中するのではなく、拡散軌道全体を通してキャッシュされた計算をより効果的に活用することができる。
また,キャッシュ再利用時に対応するノイズを動的に推定し,サンプリング方向への影響を低減するためにフィルタする。
大規模な実験により, 提案手法は, 競争力のある生成品質を維持しつつ, サンプリングプロセスの高速化を図り, 拡散型生成モデルの効率的な展開のための有望かつ実用的なソリューションを提供する。
関連論文リスト
- Learning To Sample From Diffusion Models Via Inverse Reinforcement Learning [43.678382510171986]
拡散モデルは、ニューラルネットワークによってガイドされる反復的復調プロセスを通じてサンプルを生成する。
本稿では,サンプリング戦略の学習のための逆強化学習フレームワークを提案する。
提案手法は,事前学習した拡散モデルにより生成された試料の品質を向上させることができることを示す。
論文 参考訳（メタデータ） (2026-02-09T14:10:44Z) - LSGQuant: Layer-Sensitivity Guided Quantization for One-Step Diffusion Real-World Video Super-Resolution [52.627063566555194]
本稿では,一段階拡散に基づく実世界VSRのための層感度誘導量子化手法LSGQuantを紹介する。
本手法は,ビデオトークンのアクティベーションに適合する動的レンジ適応量子化器 (DRAQ) を備える。
提案手法は,完全精度のオリジンモデルに対してほぼ性能が良く,既存の量子化手法をはるかに上回っている。
論文 参考訳（メタデータ） (2026-02-03T06:53:19Z) - Quantizing Diffusion Models from a Sampling-Aware Perspective [43.95032520555463]
本稿では,混合次軌道アライメント手法を考案したサンプリング対応量子化手法を提案する。
複数のデータセットにまたがるスパースステップ高速サンプリング実験により,本手法は高速サンプリング器の高速収束特性を保っていることが示された。
論文 参考訳（メタデータ） (2025-05-04T20:50:44Z) - Arbitrary-steps Image Super-resolution via Diffusion Inversion [68.78628844966019]
本研究では,拡散インバージョンに基づく新しい画像超解像(SR)手法を提案する。
本研究では,拡散モデルの中間状態を構築するための部分雑音予測戦略を設計する。
トレーニングが完了すると、このノイズ予測器を使用して、拡散軌道に沿ってサンプリングプロセスを部分的に初期化し、望ましい高分解能結果を生成する。
論文 参考訳（メタデータ） (2024-12-12T07:24:13Z) - Diffusing Differentiable Representations [60.72992910766525]
本稿では,事前学習した拡散モデルを用いて,微分可能な表現(拡散)をサンプリングする,新しい学習自由な手法を提案する。
差分によって引き起こされるサンプルに対する暗黙の制約を特定し、この制約に対処することで、生成されたオブジェクトの一貫性と詳細が大幅に改善されることを示す。
論文 参考訳（メタデータ） (2024-12-09T20:42:58Z) - Adaptive Non-uniform Timestep Sampling for Accelerating Diffusion Model Training [6.694752081172194]
データ分布が複雑化するにつれて、収束のためのトレーニング拡散モデルがますます複雑になる。
より重要な時間ステップを優先する一様でない時間ステップサンプリング手法を提案する。
提案手法は, 各種データセット, スケジューリング戦略, 拡散アーキテクチャにまたがるロバストな性能を示す。
論文 参考訳（メタデータ） (2024-11-15T07:12:18Z) - Sequential Posterior Sampling with Diffusion Models [15.028061496012924]
条件付き画像合成における逐次拡散後サンプリングの効率を向上させるため,遷移力学をモデル化する新しい手法を提案する。
本研究では,高フレームレート心エコー画像の現実的データセットに対するアプローチの有効性を実証する。
提案手法は,画像の拡散モデルとリアルタイム推論を必要とする他の領域における拡散モデルのリアルタイム適用の可能性を開く。
論文 参考訳（メタデータ） (2024-09-09T07:55:59Z) - Diffusion Spectral Representation for Reinforcement Learning [17.701625371409644]
本稿では,表現学習の観点からの強化学習に拡散モデルの柔軟性を活用することを提案する。
拡散モデルとエネルギーベースモデルとの接続を利用して拡散スペクトル表現(Diff-SR)を開発する。
Diff-SRは、拡散モデルからのサンプリングの難易度と推論コストを明示的に回避しつつ、効率的なポリシー最適化と実用的なアルゴリズムを実現する方法を示す。
論文 参考訳（メタデータ） (2024-06-23T14:24:14Z) - Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳（メタデータ） (2024-06-03T18:49:57Z) - Improved off-policy training of diffusion samplers [93.66433483772055]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳（メタデータ） (2024-02-07T18:51:49Z) - Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
離散非マルコフ拡散モデル(DNDM)を提案する。
これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。
有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
論文 参考訳（メタデータ） (2023-12-14T18:14:11Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳（メタデータ） (2023-10-04T09:39:05Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳（メタデータ） (2022-11-24T07:30:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。