論文の概要: Bounds all around: training energy-based models with bidirectional bounds

• arxiv url: http://arxiv.org/abs/2111.00929v1
• Date: Mon, 1 Nov 2021 13:25:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-02 22:08:52.972845
• Title: Bounds all around: training energy-based models with bidirectional bounds
• Title（参考訳）: あらゆる境界:双方向境界を持つエネルギーベースモデルのトレーニング
• Authors: Cong Geng, Jia Wang, Zhiyong Gao, Jes Frellsen, S{\o}ren Hauberg
• Abstract要約: エネルギーベースモデル(EBM)は密度推定のためのエレガントなフレームワークを提供するが、それらは訓練が難しいことで知られている。 近年の研究では、ESMは変動値関数を持つミニマックスゲームを通じて訓練される。 ミニマックスゲームにおいて,EBM対数ライクな二方向境界を提案し,下位境界を最大化し,上限を最小化する。
• 参考スコア（独自算出の注目度）: 26.507268387712145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Energy-based models (EBMs) provide an elegant framework for density estimation, but they are notoriously difficult to train. Recent work has established links to generative adversarial networks, where the EBM is trained through a minimax game with a variational value function. We propose a bidirectional bound on the EBM log-likelihood, such that we maximize a lower bound and minimize an upper bound when solving the minimax game. We link one bound to a gradient penalty that stabilizes training, thereby providing grounding for best engineering practice. To evaluate the bounds we develop a new and efficient estimator of the Jacobi-determinant of the EBM generator. We demonstrate that these developments significantly stabilize training and yield high-quality density estimation and sample generation.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は密度推定のためのエレガントなフレームワークを提供するが、それらは訓練が難しいことで知られている。 近年の研究では、変動値関数を持つミニマックスゲームを通じてebmを訓練する生成的敵ネットワークとの関連が確立されている。 本稿では,ebmログライクな双方向バウンドを提案し,低バウンドを最大化し,ミニマックスゲームを解く際の上限を最小化する。 我々は、トレーニングを安定させる勾配ペナルティに縛り付けられたペナルティをリンクし、最高のエンジニアリングプラクティスの基盤を提供します。 境界を評価するために、ebm生成器のヤコビ決定式の新規かつ効率的な推定器を開発した。 これらの開発はトレーニングを著しく安定させ,高品質な密度推定とサンプル生成を実現している。

関連論文リスト

• Improving Adversarial Energy-Based Model via Diffusion Process [25.023967485839155]
  対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。 拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。 本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
  論文  参考訳（メタデータ） (2024-03-04T01:33:53Z)
• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Generative Modeling through the Semi-dual Formulation of Unbalanced Optimal Transport [9.980822222343921]
  非平衡最適輸送(UOT)の半二重定式化に基づく新しい生成モデルを提案する。 OTとは異なり、UOTは分散マッチングの厳しい制約を緩和する。このアプローチは、外れ値に対する堅牢性、トレーニング中の安定性、より高速な収束を提供する。 CIFAR-10ではFIDスコアが2.97、CelebA-HQ-256では6.36である。
  論文  参考訳（メタデータ） (2023-05-24T06:31:05Z)
• Energy-guided Entropic Neural Optimal Transport [100.20553612296024]
  エネルギーベースのモデル(EBM)は、機械学習コミュニティで数十年にわたって知られている。 EBMとEntropy-regularized OTのギャップを埋める。 実際に,玩具2Dおよび画像領域における適用性を検証する。
  論文  参考訳（メタデータ） (2023-04-12T18:20:58Z)
• Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
  エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。 EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。 コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T10:50:25Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• EBMs Trained with Maximum Likelihood are Generator Models Trained with a Self-adverserial Loss [6.445605125467574]
  Langevin ダイナミクスを関連する勾配降下 ODE の決定論的解に置き換えます。 本研究は, 動的騒音の再導入は, 動作の質的変化に繋がらないことを示す。 そこで, EBMトレーニングは, 最大確率推定よりも, 事実上自己反逆的処置であることを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:34:12Z)
• Imitation with Neural Density Models [98.34503611309256]
  本稿では,Imitation Occupancy Entropy Reinforcement Learning (RL) を報奨として,専門家の占有率の密度推定によるImitation Learning (IL) の新しい枠組みを提案する。 提案手法は,専門家の占有率と模倣者の占有率の逆Kulback-Leibler偏差を確実に低くする非逆モデル自由RLの目的を最大化する。
  論文  参考訳（メタデータ） (2020-10-19T19:38:36Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Mode-Assisted Unsupervised Learning of Restricted Boltzmann Machines [7.960229223744695]
  標準勾配更新とオフグラディエント方向を適切に組み合わせることで、従来の勾配法よりもトレーニングを劇的に改善することを示す。 モードトレーニングと呼ばれるこのアプローチは、収束相対エントロピー(KL分散)の低下に加えて、より高速なトレーニングと安定性を促進する。 我々が提案するモードトレーニングは、任意の勾配法と組み合わせて適用でき、より一般的なエネルギーベースのニューラルネットワーク構造に容易に拡張できるため、非常に多用途である。
  論文  参考訳（メタデータ） (2020-01-15T21:12:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。