論文の概要: Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache

• arxiv url: http://arxiv.org/abs/2609.05981v1
• Date: Sat, 05 Sep 2026 08:54:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.175343
• Title: Accelerating Diffusion Transformers with Gaussian Process Rectified Feature Cache
• Title（参考訳）: ガウス過程整形特徴キャッシュによる拡散変換器の高速化
• Abstract要約: 拡散変換器は、生成AIにおいて支配的なパラダイムとなっているが、その高い計算コストはリアルタイム応用を妨げる。 予測に基づく特徴キャッシングは拡散変圧器の高速化に広く用いられているが、ステップ数が増えるにつれて、その予測と参照完全軌道の偏差は徐々に増大する。 直感的なアイデアは、オンライン回帰モデルを使ってこの偏差を動的に補正することだが、加速プロセス中にラベルデータが利用できないという問題に直面している。 本稿では,キャッシュ手法と参照フルコンプットトラジェクトリによる全計算ステップの特徴間の残差が局所的に現れるという統計的観察を提案する。
• 参考スコア（独自算出の注目度）: 17.39547918764814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Transformers have become the dominant paradigm in generative AI, but their high computational costs severely hinder real-time applications. Prediction-based feature caching is widely used to accelerate diffusion transformers; however, as the number of steps increases, the deviation between its predictions and the reference full-compute trajectory gradually grows. An intuitive idea is to use an online regression model to dynamically correct this deviation, but it faces the issue of label data being unavailable during the acceleration process. This paper presents a statistical observation that the residuals between the features of full computation steps using caching methods and reference full-compute trajectory locally exhibit a zero-mean Gaussian distribution. By treating the features of full computation steps as noisy observations of reference features, the data acquisition problem is resolved. Based on this observation, a plug-and-play GP-Refiner correction framework is proposed. This method utilizes Gaussian Process Regression for correction and, leveraging the properties of GPR, introduces an uncertainty-adaptive computation strategy that triggers necessary full-computation calibration by monitoring the posterior variance in real time. Experiments demonstrate significant improvements across different models when combined with various state-of-the-art methods. Integrating the proposed framework with TaylorSeer reduces the computational load by 19.3% while improving PSNR by 0.9 dB and reducing LPIPS from 0.46 to 0.29. Code is available in https://github.com/Aredstone/GP-Refiner.
• Abstract（参考訳）: 拡散変換器は、生成AIにおいて支配的なパラダイムとなっているが、その高い計算コストはリアルタイム応用を著しく妨げている。 予測に基づく特徴キャッシングは拡散変圧器の高速化に広く用いられているが、ステップ数が増えるにつれて、その予測と参照完全軌道の偏差は徐々に増大する。 直感的なアイデアは、オンライン回帰モデルを使用してこの偏差を動的に補正することであるが、加速プロセス中にラベルデータが利用できないという問題に直面している。 本稿では,キャッシング法と参照フルコンプットトラジェクトリによる全計算ステップの特徴とが局所的にゼロ平均ガウス分布を示すという統計的観察を行った。 完全な計算ステップの特徴を参照特徴のノイズの多い観測として扱うことにより、データ取得問題を解消する。 この観測に基づいて, プラグアンドプレイ型GP-Refiner補正フレームワークを提案する。 本手法はガウス過程回帰を補正に利用し、GPRの特性を活用することにより、後方分散をリアルタイムで監視し、必要な完全計算校正をトリガーする不確実性適応型計算戦略を導入する。 実験では、様々な最先端の手法と組み合わせることで、異なるモデル間で大きな改善が示される。 提案されたフレームワークをTaylorSeerと統合することで計算負荷を19.3%削減し、PSNRを0.9dB改善し、LPIPSを0.46から0.29に削減した。 コードはhttps://github.com/Aredstone/GP-Refinerで入手できる。

関連論文リスト

• Fast Gaussian Process Approximations for Autocorrelated Data [5.614320553305912]
  本稿では,自動相関データに基づいて学習したガウス過程モデルの計算速度向上に関する問題点について述べる。 提案手法は,モデル予測性能を損なうことなく,自動相関データに対するガウス過程回帰の計算を著しく高速化することができる。
  論文  参考訳（メタデータ） (2025-12-02T16:46:07Z)
• Shortening the Trajectories: Identity-Aware Gaussian Approximation for Efficient 3D Molecular Generation [2.631060597686179]
  確率的生成モデル(GPGM)は、ガウス雑音でサンプルを破損させる過程を逆転することでデータを生成する。 これらのモデルは様々な領域にまたがって最先端のパフォーマンスを達成しているが、その実際の展開は高い計算コストに制約されている。 我々は,学習の粒度や推論の忠実さを犠牲にすることなく,生成効率を向上させる理論的基礎と実証的検証フレームワークを導入する。
  論文  参考訳（メタデータ） (2025-07-11T21:39:32Z)
• Accelerating Diffusion Transformer via Increment-Calibrated Caching with Channel-Aware Singular Value Decomposition [4.0594792247165]
  拡散変換器(DiT)モデルは画像生成において顕著な成功を収めた。 Increment-calibrated cache, a training-free method for DiT accelerate。 本手法は45%以上を除去し,0.06 FID増加のコストでISを12倍に改善する。
  論文  参考訳（メタデータ） (2025-05-09T06:56:17Z)
• Adaptive Multi-step Refinement Network for Robust Point Cloud Registration [82.64560249066734]
  ポイントクラウド登録は、同じシーンの2つのポイントクラウド間の相対的な厳密な変換を推定する。 本稿では,前ステップからの情報を活用することで,各ステップの登録品質を向上する適応型多段階改良ネットワークを提案する。 本手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークの両方で最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:41Z)
• Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [22.256068524699472]
  本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。 提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-22T06:56:35Z)
• Sampling from Gaussian Process Posteriors using Stochastic Gradient Descent [43.097493761380186]
  勾配アルゴリズムは線形系を解くのに有効な方法である。 最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。 実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
  論文  参考訳（メタデータ） (2023-06-20T15:07:37Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Gaussian Process Inference Using Mini-batch Stochastic Gradient Descent: Convergence Guarantees and Empirical Benefits [21.353189917487512]
  勾配降下(SGD)とその変種は、機械学習問題のアルゴリズムとして確立されている。 我々は、最小バッチSGDが全ログ類似損失関数の臨界点に収束することを証明して一歩前進する。 我々の理論的な保証は、核関数が指数的あるいは固有デカイを示すことを前提としている。
  論文  参考訳（メタデータ） (2021-11-19T22:28:47Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)
• Improving Sampling Accuracy of Stochastic Gradient MCMC Methods via Non-uniform Subsampling of Gradients [54.90670513852325]
  サンプリング精度を向上させるための一様でないサブサンプリング手法を提案する。 EWSGは、一様勾配MCMC法がバッチ勾配MCMC法の統計的挙動を模倣するように設計されている。 EWSGの実践的な実装では、データインデックス上のMetropolis-Hastingsチェーンを介して、一様でないサブサンプリングを効率的に行う。
  論文  参考訳（メタデータ） (2020-02-20T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。