論文の概要: Energy Discrepancies: A Score-Independent Loss for Energy-Based Models
- arxiv url: http://arxiv.org/abs/2307.06431v2
- Date: Mon, 27 Nov 2023 15:38:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-30 15:35:31.795363
- Title: Energy Discrepancies: A Score-Independent Loss for Energy-Based Models
- Title（参考訳）: エネルギー格差:エネルギーモデルにおけるスコア非依存損失
- Authors: Tobias Schr\"oder, Zijing Ou, Jen Ning Lim, Yingzhen Li, Sebastian J.
Vollmer, Andrew B. Duncan
- Abstract要約: 本稿では,スコアの計算や高価なマルコフ連鎖モンテカルロの計算に頼らない新しい損失関数であるEnergy Discrepancy (ED)を提案する。
EDは明示的なスコアマッチングと負のログ類似損失に異なる限界でアプローチし,両者を効果的に補間することを示した。
- 参考スコア（独自算出の注目度）: 20.250792836049882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Energy-based models are a simple yet powerful class of probabilistic models,
but their widespread adoption has been limited by the computational burden of
training them. We propose a novel loss function called Energy Discrepancy (ED)
which does not rely on the computation of scores or expensive Markov chain
Monte Carlo. We show that ED approaches the explicit score matching and
negative log-likelihood loss under different limits, effectively interpolating
between both. Consequently, minimum ED estimation overcomes the problem of
nearsightedness encountered in score-based estimation methods, while also
enjoying theoretical guarantees. Through numerical experiments, we demonstrate
that ED learns low-dimensional data distributions faster and more accurately
than explicit score matching or contrastive divergence. For high-dimensional
image data, we describe how the manifold hypothesis puts limitations on our
approach and demonstrate the effectiveness of energy discrepancy by training
the energy-based model as a prior of a variational decoder model.
- Abstract（参考訳）: エネルギーベースモデルは単純だが強力な確率モデルであるが、それらの普及は訓練の計算負担によって制限されている。
本稿では,スコアや高価なマルコフ連鎖モンテカルロの計算に依存しないエネルギー離散性(ED)と呼ばれる新しい損失関数を提案する。
EDは明示的なスコアマッチングと負のログ類似損失に異なる限界でアプローチし,両者を効果的に補間することを示した。
したがって、最小ed推定はスコアベース推定法で発生する近視性の問題を克服し、理論的な保証を享受する。
数値実験により、EDは明示的なスコアマッチングや対照的な分散よりも、低次元のデータ分布を高速かつ正確に学習することを示した。
高次元画像データでは、多様体仮説が我々のアプローチに制限を与える方法を説明し、エネルギーベースモデルを変分デコーダモデルの先行として訓練することによりエネルギー差分効果を実証する。
関連論文リスト
- Adaptive Resolution Inference (ARI): Energy-Efficient Machine Learning for Internet of Things [11.802983172874901]
Internet of Thingsデバイスにおける機械学習の実装は、限られたエネルギーと計算資源のために、重大な運用上の問題を引き起こす。
本稿では,エネルギー散逸とモデル性能の新たなトレードオフを評価する新しい手法である適応分解能推論(ARI)を提案する。
論文 参考訳（メタデータ） (2024-08-26T16:00:26Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳（メタデータ） (2023-11-13T01:48:08Z) - Training Discrete Energy-Based Models with Energy Discrepancy [18.161764926125066]
離散空間上でのエネルギーベースモデル(EBM)の訓練は、そのような空間上でのサンプリングが難しいため困難である。
エネルギー差分(ED)を用いた個別ESMの訓練を提案する。
格子イジングモデル,バイナリ合成データ,離散画像データセットにおいて,それらの相対的な性能を示す。
論文 参考訳（メタデータ） (2023-07-14T19:38:05Z) - Efficient Training of Energy-Based Models Using Jarzynski Equality [13.636994997309307]
エネルギーベースモデル(英: Energy-based model、EBM)は、統計物理学にインスパイアされた生成モデルである。
モデルパラメータに対する勾配の計算には、モデルの分布をサンプリングする必要がある。
ここでは、ジャジンスキーの等式に基づく非平衡熱力学の結果を用いて、この計算を効率的に行う方法を示す。
論文 参考訳（メタデータ） (2023-05-30T21:07:52Z) - End-To-End Latent Variational Diffusion Models for Inverse Problems in
High Energy Physics [61.44793171735013]
本稿では,最先端生成技術アプローチの潜時学習とエンドツーエンドの変分フレームワークを組み合わせた,新しい統合アーキテクチャ,潜時変分モデルを提案する。
我々の統一的アプローチは、非最新技術ベースラインの20倍以上の真理への分布自由距離を達成する。
論文 参考訳（メタデータ） (2023-05-17T17:43:10Z) - How Much is Enough? A Study on Diffusion Times in Score-based Generative
Models [76.76860707897413]
現在のベストプラクティスは、フォワードダイナミクスが既知の単純なノイズ分布に十分に近づくことを確実にするために大きなTを提唱している。
本稿では, 理想とシミュレーションされたフォワードダイナミクスのギャップを埋めるために補助モデルを用いて, 標準的な逆拡散過程を導出する方法について述べる。
論文 参考訳（メタデータ） (2022-06-10T15:09:46Z) - The Franz-Parisi Criterion and Computational Trade-offs in High
Dimensional Statistics [73.1090889521313]
本稿では,低次と自由エネルギーの異なるアプローチの厳密な接続を実現することを目的とする。
我々は、自由エネルギーに基づく硬度基準を定義し、それを高次硬度の概念に正式に結び付ける。
結果は、異なる硬さの概念間のつながりに関する概念的な洞察と、具体的な技術ツールの両方を提供する。
論文 参考訳（メタデータ） (2022-05-19T17:39:29Z) - Pseudo-Spherical Contrastive Divergence [119.28384561517292]
エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。
PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
論文 参考訳（メタデータ） (2021-11-01T09:17:15Z) - Targeted free energy estimation via learned mappings [66.20146549150475]
自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。
FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。
目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
論文 参考訳（メタデータ） (2020-02-12T11:10:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。