論文の概要: Training Deep Energy-Based Models with f-Divergence Minimization
- arxiv url: http://arxiv.org/abs/2003.03463v2
- Date: Tue, 21 Jul 2020 01:21:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-26 00:53:56.582772
- Title: Training Deep Energy-Based Models with f-Divergence Minimization
- Title(参考訳): f-divergence最小化による深層エネルギーモデル学習
- Authors: Lantao Yu, Yang Song, Jiaming Song, Stefano Ermon
- Abstract要約: 深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
- 参考スコア(独自算出の注目度): 113.97274898282343
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep energy-based models (EBMs) are very flexible in distribution
parametrization but computationally challenging because of the intractable
partition function. They are typically trained via maximum likelihood, using
contrastive divergence to approximate the gradient of the KL divergence between
data and model distribution. While KL divergence has many desirable properties,
other f-divergences have shown advantages in training implicit density
generative models such as generative adversarial networks. In this paper, we
propose a general variational framework termed f-EBM to train EBMs using any
desired f-divergence. We introduce a corresponding optimization algorithm and
prove its local convergence property with non-linear dynamical systems theory.
Experimental results demonstrate the superiority of f-EBM over contrastive
divergence, as well as the benefits of training EBMs using f-divergences other
than KL.
- Abstract(参考訳): 深部エネルギーベースモデル (EBMs) は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
それらは典型的には、データとモデル分布の間のKL偏差の勾配を近似するために、対照的な偏差を用いて、最大可能性で訓練される。
klの発散は多くの望ましい性質を持つが、他のf-divergencesは生成逆ネットワークのような暗黙の密度生成モデルの訓練において利点を示している。
本稿では, f-EBM と呼ばれる一般的な変分フレームワークを提案し, 所望の f-divergence を用いて EBM を訓練する。
対応する最適化アルゴリズムを導入し,その局所収束特性を非線形力学系理論で証明する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
関連論文リスト
- Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian
Mixture Models [59.331993845831946]
拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。
本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
論文 参考訳(メタデータ) (2024-03-03T23:15:48Z) - Diffusion Model Conditioning on Gaussian Mixture Model and Negative
Gaussian Mixture Gradient [1.9298401192674903]
拡散モデル(DM)は、画像合成などに大きな影響を与える生成モデルの一種である。
本稿では,ガウス混合モデル(GMM)を特徴条件として用いた条件付け機構を提案する。
本研究では,特徴とクラスに基づく条件付き潜伏分布が著しく異なることを示し,特徴に対する条件付き潜伏分布は,クラスにおける条件付き潜伏分布よりも欠陥世代が少ないことを示した。
論文 参考訳(メタデータ) (2024-01-20T16:01:18Z) - Generalized Contrastive Divergence: Joint Training of Energy-Based Model
and Diffusion Model through Inverse Reinforcement Learning [13.22531381403974]
Generalized Contrastive Divergence (GCD) はエネルギーベースモデル(EBM)とサンプルを同時にトレーニングするための新しい目的関数である。
EBMと拡散モデルの両方にジョイントトレーニングが有用であることを示す予備的かつ有望な結果を示す。
論文 参考訳(メタデータ) (2023-12-06T10:10:21Z) - Discrete Diffusion Modeling by Estimating the Ratios of the Data
Distribution [76.33705947080871]
離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。
標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
論文 参考訳(メタデータ) (2023-10-25T17:59:12Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳(メタデータ) (2023-05-30T21:07:52Z) - Score-based Generative Modeling Through Backward Stochastic Differential
Equations: Inversion and Generation [6.2255027793924285]
提案したBSDEベースの拡散モデルは、機械学習における微分方程式(SDE)の適用を拡大する拡散モデリングの新しいアプローチを示す。
モデルの理論的保証、スコアマッチングにリプシッツネットワークを用いることの利点、および拡散反転、条件拡散、不確実性定量化など様々な分野への応用の可能性を示す。
論文 参考訳(メタデータ) (2023-04-26T01:15:35Z) - Flexible Amortized Variational Inference in qBOLD MRI [56.4324135502282]
データから酸素抽出率(OEF)と脱酸素血液量(DBV)をより明瞭に決定する。
既存の推論手法では、DBVを過大評価しながら非常にノイズの多い、過小評価されたEFマップが得られる傾向にある。
本研究は, OEFとDBVの可算分布を推定できる確率論的機械学習手法について述べる。
論文 参考訳(メタデータ) (2022-03-11T10:47:16Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Pseudo-Spherical Contrastive Divergence [119.28384561517292]
エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。
PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
論文 参考訳(メタデータ) (2021-11-01T09:17:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。