論文の概要: Pseudo-Spherical Contrastive Divergence
- arxiv url: http://arxiv.org/abs/2111.00780v1
- Date: Mon, 1 Nov 2021 09:17:15 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-02 16:22:41.425680
- Title: Pseudo-Spherical Contrastive Divergence
- Title（参考訳）: 擬球面コントラスト発散
- Authors: Lantao Yu, Jiaming Song, Yang Song, Stefano Ermon
- Abstract要約: エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。
PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
- 参考スコア（独自算出の注目度）: 119.28384561517292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-based models (EBMs) offer flexible distribution parametrization.
However, due to the intractable partition function, they are typically trained
via contrastive divergence for maximum likelihood estimation. In this paper, we
propose pseudo-spherical contrastive divergence (PS-CD) to generalize maximum
likelihood learning of EBMs. PS-CD is derived from the maximization of a family
of strictly proper homogeneous scoring rules, which avoids the computation of
the intractable partition function and provides a generalized family of
learning objectives that include contrastive divergence as a special case.
Moreover, PS-CD allows us to flexibly choose various learning objectives to
train EBMs without additional computational cost or variational minimax
optimization. Theoretical analysis on the proposed method and extensive
experiments on both synthetic data and commonly used image datasets demonstrate
the effectiveness and modeling flexibility of PS-CD, as well as its robustness
to data contamination, thus showing its superiority over maximum likelihood and
$f$-EBMs.
- Abstract（参考訳）: エネルギーベースモデル(EBM)は柔軟な分布パラメトリゼーションを提供する。
しかし、難解な分割関数のため、通常、最大確率推定のために対比的発散を通じて訓練される。
本稿では,ESMの最大確率学習を一般化するための擬球面コントラスト分散(PS-CD)を提案する。
ps-cdは、難解な分割関数の計算を回避し、対照的な発散を含む一般化された学習目的のファミリーを提供する、厳密に適切な均質なスコアリングルールのファミリーの最大化に由来する。
さらにPS-CDでは,計算コストや変動最小値の最適化を伴わずに,多様な学習目標を柔軟に選択することができる。
提案手法の理論的解析と合成データと一般的な画像データセットの両方に関する広範な実験により、ps-cdの有効性とモデリングの柔軟性が示され、データの汚染に対する堅牢性が示され、最大精度と$f$-ebmsよりも優れていることが示された。
関連論文リスト
- Shedding Light on Large Generative Networks: Estimating Epistemic Uncertainty in Diffusion Models [15.352556466952477]
生成拡散モデルは、その大きなパラメータ数(1億を超える)と高次元画像空間での操作で顕著である。
本研究では,拡散モデルに対する疫学的不確実性を推定するための新しいフレームワークであるDiffusion Ensembles for Capturing Uncertainty (DECU)を導入する。
論文 参考訳（メタデータ） (2024-06-05T14:03:21Z) - Break The Spell Of Total Correlation In betaTCVAE [4.38301148531795]
本稿では,全相関の反復的分解経路を提案し,VAEの非絡み合い表現能力について説明する。
新たなモデルにより、VAEはパラメータキャパシティを柔軟に分割し、依存データと独立データの特徴を分割することができる。
論文 参考訳（メタデータ） (2022-10-17T07:16:53Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Fast and Efficient MMD-based Fair PCA via Optimization over Stiefel
Manifold [41.58534159822546]
本稿では,主成分分析(PCA)について,次元推定条件分布の最大誤差(MMD)を最小化するものとして定義する。
我々は最適性保証を提供し、実践的な環境で理論効果を明示的に示す。
論文 参考訳（メタデータ） (2021-09-23T08:06:02Z) - Identifiable Energy-based Representations: An Application to Estimating
Heterogeneous Causal Effects [83.66276516095665]
条件付き平均治療効果(CATEs)は、多数の個体にまたがる不均一性について理解することができる。
典型的なCATE学習者は、CATEが識別可能であるために、すべての共起変数が測定されていると仮定する。
本稿では,ノイズコントラッシブ損失関数を用いて,変数の低次元表現を学習するエネルギーベースモデルを提案する。
論文 参考訳（メタデータ） (2021-08-06T10:39:49Z) - PSD Representations for Effective Probability Models [117.35298398434628]
最近提案された非負関数に対する正半定値(PSD)モデルがこの目的に特に適していることを示す。
我々はPSDモデルの近似と一般化能力の両方を特徴付け、それらが強い理論的保証を享受していることを示す。
本研究では,PSDモデルの密度推定,決定理論,推論への応用への道を開く。
論文 参考訳（メタデータ） (2021-06-30T15:13:39Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳（メタデータ） (2021-06-09T12:13:51Z) - Posterior-Aided Regularization for Likelihood-Free Inference [23.708122045184698]
後補助正規化(PAR)は,モデル構造に関係なく,密度推定器の学習に適用可能である。
単一のニューラルネットワークを用いて逆KL項と相互情報項の両方を推定するPARの統一推定方法を提供する。
論文 参考訳（メタデータ） (2021-02-15T16:59:30Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳（メタデータ） (2020-03-06T23:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。