論文の概要: The Value of Covariance Matching in Gaussian DDPMs and the Lanczos Sampler
- arxiv url: http://arxiv.org/abs/2605.22723v1
- Date: Thu, 21 May 2026 16:57:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-22 16:35:42.358458
- Title: The Value of Covariance Matching in Gaussian DDPMs and the Lanczos Sampler
- Title（参考訳）: ガウスDDPMとランツォスサンプリング器の共分散マッチング値
- Authors: Md Sahil Akhtar, Aymane El Gadarri, Vivek F. Farias, Adam D. Jozefiak,
- Abstract要約: ガウスのDDPMにおける中心誤差測度は、正確な逆鎖と学習されたガウスの逆過程の間の経路空間 KL のばらつきである。
完全後続共分散のマッチングはこの障壁を破り、KLを$O(1/T2)$に下げるオーダーワイズの改善をもたらすことを示す。
我々はLGS近似誤差がランツォスステップの数で指数関数的に減衰することを証明し、各ランツォスステップは1つのヤコビアンベクトル積を必要とする。
- 参考スコア（独自算出の注目度）: 4.538165276831438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A central error measure in Gaussian DDPMs is the path-space KL divergence between the exact reverse chain and the learned Gaussian reverse process. This quantity is especially relevant for procedures such as classifier guidance, which perturb the entire reverse trajectory rather than only the terminal sample. Prior analyses show that standard isotropic reverse covariances suffer an unavoidable $Ω(1/T)$ path-KL error as the number of denoising steps $T$ grows. We show that matching the full posterior covariance breaks this barrier, yielding an order-wise improvement that reduces the path KL to $O(1/T^2)$. To make full covariance matching practical, we introduce the Lanczos Gaussian sampler (LGS), a training-free, matrix-free method for sampling from the optimal reverse covariance using only covariance-vector products, which are available through Jacobian-vector products of the posterior mean. LGS avoids dense covariance storage and auxiliary covariance models. We prove that LGS approximation error decays exponentially in the number of Lanczos steps, where each Lanczos step requires a single Jacobian-vector product. Empirically, using only just three such steps improves sample quality over strong diagonal-covariance baselines, including OCM-DDPM, across standard image benchmarks. This identifies full covariance matching as both theoretically valuable and practically accessible for fast DDPM sampling.
- Abstract（参考訳）: ガウスのDDPMにおける中心誤差測度は、正確な逆鎖と学習されたガウスの逆過程の間の経路空間 KL のばらつきである。
この量は特に分類器誘導のような手順に関係しており、終端サンプルだけでなく、逆軌道全体を摂動させる。
先行解析により、標準等方的逆共分散は、段数$T$が増加するにつれて、許容不可能な$Ω(1/T)$path-KL誤差を被ることが示された。
完全後続共分散のマッチングはこの障壁を破り、KLの経路をO(1/T^2)$に下げる秩序的な改善をもたらすことを示す。
完全共分散マッチングを実現するために,後進平均のヤコビ-ベクトル積から得られる共分散ベクトル生成物のみを用いて,最適逆共分散から学習自由で行列のないサンプリング法であるLaczos Gaussian sampler (LGS)を導入する。
LGSは密度共分散ストレージと補助共分散モデルを避ける。
我々はLGS近似誤差がランツォスステップの数で指数関数的に減衰することを証明し、各ランツォスステップは1つのヤコビアンベクトル積を必要とする。
経験的に、そのような3つのステップのみを使用することで、標準画像ベンチマークで、OCM-DDPMを含む強力な対角共分散ベースラインよりも、サンプル品質が向上する。
これにより、完全な共分散マッチングは理論上価値があり、DDPMの高速サンプリングに実用的にアクセス可能である。
関連論文リスト
- Covariance-aware sampling for Diffusion Models [18.719332889440675]
画素空間拡散モデル(DM)サンプリングの品質を数ステップで向上する,協調型サンプリング器を提案する。
本手法は, 画素ベースのDMに対して, 最先端の2次サンプリング器と比較して, 常に優れたサンプルを生成できることを実証する。
論文 参考訳（メタデータ） (2026-05-13T07:46:06Z) - Closing the Approximation Gap of Partial AUC Optimization: A Tale of Two Formulations [121.39938773554523]
ROC曲線の下の領域(AUC)は、クラス不均衡と決定制約の両方を持つ実世界のシナリオにおける重要な評価指標である。
PAUC最適化の近似ギャップを埋めるために,2つの簡単なインスタンス単位のミニマックス修正を提案する。
得られたアルゴリズムは、サンプルサイズと典型的な一方方向と双方向のPAUCに対して$O(-2/3)$の収束率の線形パーイテレーション計算複雑性を享受する。
論文 参考訳（メタデータ） (2025-12-01T02:52:33Z) - Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。
本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-03-04T17:46:51Z) - Online Covariance Estimation in Nonsmooth Stochastic Approximation [14.818683408659764]
非滑らかな変分包含問題を解くために近似法(SA)を適用することを検討する。
我々の収束構造は、統計的推定法で最もよく知られているものを確立する。
論文 参考訳（メタデータ） (2025-02-07T20:16:51Z) - Double Variance Reduction: A Smoothing Trick for Composite Optimization Problems without First-Order Gradient [40.22217106270146]
ばらつき低減技術はサンプリングのばらつきを低減し、一階法(FO)とゼロ階法(ZO)の収束率を向上するように設計されている。
複合最適化問題において、ZO法は、ランダム推定から導かれる座標ワイド分散と呼ばれる追加の分散に遭遇する。
本稿では,ZPDVR法とZPDVR法を提案する。
論文 参考訳（メタデータ） (2024-05-28T02:27:53Z) - Towards Efficient and Optimal Covariance-Adaptive Algorithms for Combinatorial Semi-Bandits [12.674929126684528]
我々は、プレイヤーがPアクションの中から d 個の基本アイテムを含む集合のパワーセットから選択する半帯域の問題に対処する。
提案手法は半帯域フィードバックを効果的に活用し,帯域フィードバックアプローチより優れていることを示す。
論文 参考訳（メタデータ） (2024-02-23T08:07:54Z) - Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。
この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
論文 参考訳（メタデータ） (2024-02-03T13:35:39Z) - Sampling and estimation on manifolds using the Langevin diffusion [45.57801520690309]
離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。
誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
論文 参考訳（メタデータ） (2023-12-22T18:01:11Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳（メタデータ） (2023-06-27T08:15:28Z) - Langevin Monte Carlo: random coordinate descent and variance reduction [7.464874233755718]
Langevin Monte Carlo (LMC) はベイジアンサンプリング法として人気がある。
LMC上でのRCD(ランダム座標降下)の適用により計算効率を向上させる方法について検討する。
論文 参考訳（メタデータ） (2020-07-26T18:14:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。