論文の概要: Relational Feature Caching for Accelerating Diffusion Transformers
- arxiv url: http://arxiv.org/abs/2602.19506v1
- Date: Mon, 23 Feb 2026 04:45:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-24 17:42:02.678599
- Title: Relational Feature Caching for Accelerating Diffusion Transformers
- Title（参考訳）: 拡散変圧器の高速化のための関係特徴キャッシング
- Authors: Byunggwan Son, Jeimin Jeon, Jeongwoo Choi, Bumsub Ham,
- Abstract要約: 特徴キャッシングアプローチは,計算コストの高いモジュールの出力特性を一定のタイミングで格納することにより,拡散変換器(DiT)を高速化する。
最近の予測に基づくキャッシュ手法では、時間外挿法を用いて出力特性をキャッシュ化したものと近似する。
本稿では,特徴予測の精度を高めるために,入出力関係を利用した新しいフレームワークであるリレーショナル特徴キャッシング(RFC)を提案する。
- 参考スコア（独自算出の注目度）: 19.211788552579655
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Feature caching approaches accelerate diffusion transformers (DiTs) by storing the output features of computationally expensive modules at certain timesteps, and exploiting them for subsequent steps to reduce redundant computations. Recent forecasting-based caching approaches employ temporal extrapolation techniques to approximate the output features with cached ones. Although effective, relying exclusively on temporal extrapolation still suffers from significant prediction errors, leading to performance degradation. Through a detailed analysis, we find that 1) these errors stem from the irregular magnitude of changes in the output features, and 2) an input feature of a module is strongly correlated with the corresponding output. Based on this, we propose relational feature caching (RFC), a novel framework that leverages the input-output relationship to enhance the accuracy of the feature prediction. Specifically, we introduce relational feature estimation (RFE) to estimate the magnitude of changes in the output features from the inputs, enabling more accurate feature predictions. We also present relational cache scheduling (RCS), which estimates the prediction errors using the input features and performs full computations only when the errors are expected to be substantial. Extensive experiments across various DiT models demonstrate that RFC consistently outperforms prior approaches significantly. Project page is available at https://cvlab.yonsei.ac.kr/projects/RFC
- Abstract（参考訳）: 特徴キャッシングアプローチは,計算コストのかかるモジュールの出力特性を一定のタイミングで保存し,その後のステップでそれらを利用して冗長な計算を減らし,拡散トランスフォーマー(DiT)を高速化する。
最近の予測に基づくキャッシュ手法では、時間外挿法を用いて出力特性をキャッシュ化したものと近似する。
効果はあるものの、時間外挿のみに依存することは、依然として重大な予測エラーに悩まされ、性能が低下する。
詳細な分析によって、私たちはそれを発見します。
1)これらの誤りは出力特性の変化の不規則な大きさに起因する。
2)モジュールの入力特徴は、対応する出力と強く相関する。
そこで我々は,特徴予測の精度を高めるために,入出力関係を利用した新しいフレームワークであるリレーショナル特徴キャッシング(RFC)を提案する。
具体的には、入力から出力される特徴の変化の大きさを推定するために、関係特徴推定(RFE)を導入し、より正確な特徴予測を可能にする。
また、入力特徴量を用いて予測誤差を推定し、エラーが実質的であると予測された場合にのみ完全な計算を行うリレーショナルキャッシュスケジューリング(RCS)を提案する。
様々な DiT モデルにわたる大規模な実験により、RFC が先行するアプローチを大幅に上回っていることが示される。
プロジェクトページはhttps://cvlab.yonsei.ac.kr/projects/RFCで公開されている。
関連論文リスト
- Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。
自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
論文 参考訳（メタデータ） (2026-02-13T04:05:03Z) - TARFVAE: Efficient One-Step Generative Time Series Forecasting via TARFLOW based VAE [3.7770105485163206]
本稿では,Transformer-based autoregressive Flow (TARFLOW) と変動型オートエンコーダ (VAE) を組み合わせた新しい生成フレームワークであるTARFVAEについて述べる。
単純なモジュールでは、TARFVAEはデータセット上の様々な予測地平線を越えて、最先端の決定論的および生成的モデルよりも優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-11-28T03:19:14Z) - A Novel Framework for Significant Wave Height Prediction based on Adaptive Feature Extraction Time-Frequency Network [5.7146098061920885]
適応的特徴抽出時間周波数ネットワーク(AFE-TFNet)を提案する。
エンコーダとデコーダのローリングフレームワークであり、機能抽出と機能融合の2段階がある。
その結果, AFE-TFNet は予測精度でベンチマーク手法を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2025-05-10T16:25:31Z) - Delayed Feedback Modeling with Influence Functions [10.327472992234808]
大きな課題はフィードバックの遅延であり、ユーザインタラクションの長い時間後に変換が発生する可能性があるため、不完全な最近のデータとバイアス付きモデルトレーニングにつながります。
既存のソリューションはこの問題を部分的に緩和するが、しばしば補助的なモデルに依存し、計算的に非効率でユーザーの関心の変化に適応しない。
提案するIF-DFMは、アンダーライン遅延アンダーラインインフルエンスをベースとしたアンダーラインインフルエンスアンダーラインモデルであり、新たに到着した変換と遅延変換がモデルパラメータに与える影響を推定し、効率よく実現できる。
論文 参考訳（メタデータ） (2025-02-01T16:23:13Z) - Learning-to-Cache: Accelerating Diffusion Transformer via Layer Caching [56.286064975443026]
拡散変圧器内の多数の層をキャッシュ機構で計算することで、モデルパラメータを更新しなくても容易に除去できる。
本稿では,拡散変圧器の動的手法でキャッシングを学習するL2C(Learningto-Cache)を提案する。
実験の結果,L2C は DDIM や DPM-r など,キャッシュベースの従来の手法と同等の推論速度で性能を向上することがわかった。
論文 参考訳（メタデータ） (2024-06-03T18:49:57Z) - CARD: Channel Aligned Robust Blend Transformer for Time Series
Forecasting [50.23240107430597]
本稿では,CARD(Channel Aligned Robust Blend Transformer)という特殊なトランスを設計する。
まず、CARDはチャネルに沿ったアテンション構造を導入し、信号間の時間的相関をキャプチャする。
第二に、マルチスケール知識を効率的に活用するために、異なる解像度のトークンを生成するトークンブレンドモジュールを設計する。
第3に,潜在的な過度な問題を軽減するため,時系列予測のためのロバストな損失関数を導入する。
論文 参考訳（メタデータ） (2023-05-20T05:16:31Z) - RF+clust for Leave-One-Problem-Out Performance Prediction [0.9281671380673306]
本稿では,LOPO(Left-one-problem-out)のパフォーマンス予測について検討する。
我々は、標準ランダムフォレスト(RF)モデル予測が性能値の重み付き平均値で校正することで改善できるかどうかを解析する。
論文 参考訳（メタデータ） (2023-01-23T16:14:59Z) - Informer: Beyond Efficient Transformer for Long Sequence Time-Series
Forecasting [25.417560221400347]
長周期時系列予測(LSTF)は高い予測能力を必要とする。
最近の研究は、予測能力を高めるトランスフォーマーの可能性を示しています。
我々は3つの特徴を有するlstf用効率的なトランスフォーマーモデル,informerを設計した。
論文 参考訳（メタデータ） (2020-12-14T11:43:09Z) - Transformer Hawkes Process [79.16290557505211]
本稿では,長期的依存関係を捕捉する自己認識機構を利用したTransformer Hawkes Process (THP) モデルを提案する。
THPは、有意なマージンによる可能性と事象予測の精度の両方の観点から、既存のモデルより優れている。
本稿では、THPが関係情報を組み込む際に、複数の点過程を学習する際の予測性能の改善を実現する具体例を示す。
論文 参考訳（メタデータ） (2020-02-21T13:48:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。