論文の概要: Improving Probabilistic Diffusion Models With Optimal Covariance Matching

• arxiv url: http://arxiv.org/abs/2406.10808v2
• Date: Sun, 13 Oct 2024 07:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-15 15:01:36.532572
• Title: Improving Probabilistic Diffusion Models With Optimal Covariance Matching
• Title（参考訳）: 最適共分散マッチングによる確率拡散モデルの改善
• Authors: Zijing Ou, Mingtian Zhang, Andi Zhang, Tim Z. Xiao, Yingzhen Li, David Barber,
• Abstract要約: 対角的共分散を学習するための新しい手法を提案する。 提案手法は,拡散モデルと潜伏拡散モデルの両方のサンプリング効率,リコール率,および可能性を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 27.2761325416843
• License:
• Abstract: The probabilistic diffusion model has become highly effective across various domains. Typically, sampling from a diffusion model involves using a denoising distribution characterized by a Gaussian with a learned mean and either fixed or learned covariances. In this paper, we leverage the recently proposed covariance moment matching technique and introduce a novel method for learning the diagonal covariances. Unlike traditional data-driven covariance approximation approaches, our method involves directly regressing the optimal analytic covariance using a new, unbiased objective named Optimal Covariance Matching (OCM). This approach can significantly reduce the approximation error in covariance prediction. We demonstrate how our method can substantially enhance the sampling efficiency, recall rate and likelihood of both diffusion models and latent diffusion models.
• Abstract（参考訳）: 確率拡散モデルは様々な領域にまたがって非常に効果的である。 通常、拡散モデルからのサンプリングは、学習平均を持つガウス平均と、固定されたあるいは学習された共分散によって特徴づけられる偏極分布を使用する。 本稿では,最近提案された共分散モーメントマッチング手法を活用し,対角的共分散を学習するための新しい手法を提案する。 従来のデータ駆動型共分散近似法とは異なり、本手法では、最適共分散マッチング(OCM)と呼ばれる新しい非バイアス対象を用いて、最適解析共分散を直接回帰する。 このアプローチは共分散予測における近似誤差を著しく低減することができる。 提案手法は,拡散モデルと潜伏拡散モデルの両方のサンプリング効率,リコール率,および可能性を大幅に向上させることができることを示す。

関連論文リスト

• New algorithms for sampling and diffusion models [0.0]
  本稿では,未知分布を持つ拡散生成モデルのための新しいサンプリング手法と新しいアルゴリズムを提案する。 我々のアプローチは、拡散生成モデルにおいて広く採用されている逆拡散過程の概念に着想を得たものである。
  論文  参考訳（メタデータ） (2024-06-14T02:30:04Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Improving Diffusion Models for Inverse Problems Using Optimal Posterior Covariance [52.093434664236014]
  近年の拡散モデルは、特定の逆問題に対して再訓練することなく、ノイズの多い線形逆問題に対する有望なゼロショット解を提供する。 この発見に触発されて、我々は、最大推定値から決定されるより原理化された共分散を用いて、最近の手法を改善することを提案する。
  論文  参考訳（メタデータ） (2024-02-03T13:35:39Z)
• Differentiating Metropolis-Hastings to Optimize Intractable Densities [51.16801956665228]
  我々はメトロポリス・ハスティングス検層の自動識別アルゴリズムを開発した。 難解な対象密度に対する期待値として表現された目的に対して勾配に基づく最適化を適用する。
  論文  参考訳（メタデータ） (2023-06-13T17:56:02Z)
• A Geometric Perspective on Diffusion Models [57.27857591493788]
  本稿では,人気のある分散拡散型SDEのODEに基づくサンプリングについて検討する。 我々は、最適なODEベースのサンプリングと古典的な平均シフト(モード探索)アルゴリズムの理論的関係を確立する。
  論文  参考訳（メタデータ） (2023-05-31T15:33:16Z)
• Error Bounds for Flow Matching Methods [38.9898500163582]
  フローマッチング法は、2つの任意の確率分布間のフローを近似する。 近似誤差に$L2$の値とデータ分布に一定の規則性を仮定し, 完全に決定論的サンプリングを用いたフローマッチング手順の誤差境界を提案する。
  論文  参考訳（メタデータ） (2023-05-26T12:13:53Z)
• How Much is Enough? A Study on Diffusion Times in Score-based Generative Models [76.76860707897413]
  現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。 本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
  論文  参考訳（メタデータ） (2022-06-10T15:09:46Z)
• Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
  データから解釈可能な等価性を発見する方法について検討する。 具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。 また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
  論文  参考訳（メタデータ） (2022-04-07T17:59:19Z)
• Robust Correction of Sampling Bias Using Cumulative Distribution Functions [19.551668880584973]
  変数ドメインとバイアス付きデータセットは、トレーニングとターゲット分布の違いにつながる可能性がある。 これを緩和するための現在のアプローチは、しばしばトレーニングとターゲット確率密度関数の比率を推定することに依存する。
  論文  参考訳（メタデータ） (2020-10-23T22:13:00Z)
• Fitting Laplacian Regularized Stratified Gaussian Models [0.0]
  データから複数の関連するゼロ平均ガウス分布を共同推定する問題を考察する。 本稿では,大規模な問題にスケールする分散手法を提案するとともに,金融,レーダ信号処理,天気予報などの手法の有効性について述べる。
  論文  参考訳（メタデータ） (2020-05-04T18:00:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。