論文の概要: Exploring bidirectional bounds for minimax-training of Energy-based models

• arxiv url: http://arxiv.org/abs/2506.04609v1
• Date: Thu, 05 Jun 2025 03:58:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.518641
• Title: Exploring bidirectional bounds for minimax-training of Energy-based models
• Title（参考訳）: エネルギーモデルにおけるミニマックス学習のための双方向境界探索
• Authors: Cong Geng, Jia Wang, Li Chen, Zhiyong Gao, Jes Frellsen, Søren Hauberg,
• Abstract要約: エネルギーベースモデル(EBM)はエレガントなフレームワークで非正規化密度を推定するが、訓練は困難である。 近年の研究では、変動的下界を用いてミニマックスゲームを通じてトレーニングできることに注意して、ESMを生成的敵ネットワークに関連付けている。 そこで本稿では,ESMのトレーニングにおいて,下界を最大化し,上界を最小化するため,双方向境界で作業することを提案する。
• 参考スコア（独自算出の注目度）: 32.543485829282005
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models (EBMs) estimate unnormalized densities in an elegant framework, but they are generally difficult to train. Recent work has linked EBMs to generative adversarial networks, by noting that they can be trained through a minimax game using a variational lower bound. To avoid the instabilities caused by minimizing a lower bound, we propose to instead work with bidirectional bounds, meaning that we maximize a lower bound and minimize an upper bound when training the EBM. We investigate four different bounds on the log-likelihood derived from different perspectives. We derive lower bounds based on the singular values of the generator Jacobian and on mutual information. To upper bound the negative log-likelihood, we consider a gradient penalty-like bound, as well as one based on diffusion processes. In all cases, we provide algorithms for evaluating the bounds. We compare the different bounds to investigate, the pros and cons of the different approaches. Finally, we demonstrate that the use of bidirectional bounds stabilizes EBM training and yields high-quality density estimation and sample generation.
• Abstract（参考訳）: エネルギーベースモデル(EBM)はエレガントなフレームワークで非正規化密度を推定するが、一般に訓練は困難である。 近年の研究では、変動的下界を用いてミニマックスゲームを通じてトレーニングできることに注意して、ESMを生成的敵ネットワークに関連付けている。 下位境界の最小化による不安定さを回避するため, 代わりに双方向境界で作業することを提案し, すなわち, 下位境界を最大化し, 上界を最小化することを提案する。 異なる視点から得られた対数類似性に関する4つの異なる境界について検討する。 生成元ヤコビアンの特異値と相互情報に基づいて下界を導出する。 負の対数類似度を上界にするために、勾配のペナルティのような境界と拡散過程に基づく境界を考える。 いずれの場合も、境界を評価するアルゴリズムを提供する。 我々は、異なるアプローチの長所と短所を調査するために異なる境界を比較する。 最後に、双方向境界を用いることで、ESMトレーニングを安定化し、高品質な密度推定とサンプル生成が得られることを示す。

関連論文リスト

• Bridging Discrete and Backpropagation: Straight-Through and Beyond [62.46558842476455]
  本稿では,離散潜在変数の生成に関わるパラメータの勾配を近似する新しい手法を提案する。 本稿では,Hunの手法とODEを解くための2次数値法を統合することで,2次精度を実現するReinMaxを提案する。
  論文  参考訳（メタデータ） (2023-04-17T20:59:49Z)
• Limitations of Information-Theoretic Generalization Bounds for Gradient Descent Methods in Stochastic Convex Optimization [48.12845778927164]
  凸最適化の設定において,勾配勾配降下の最小値設定の見通しを考察する。 勾配法の研究においてよく用いられる手法として、最終回はガウス雑音によって劣化し、ノイズの多い「代理」アルゴリズムが生成される。 以上の結果から,情報理論を用いた勾配降下解析には新たな考え方が必要であることが示唆された。
  論文  参考訳（メタデータ） (2022-12-27T17:16:48Z)
• Sampling with Mollified Interaction Energy Descent [57.00583139477843]
  モーフィファイド相互作用エネルギー降下(MIED)と呼ばれる新しい最適化に基づくサンプリング手法を提案する。 MIEDは、モル化相互作用エネルギー(MIE)と呼ばれる確率測度に関する新しいクラスのエネルギーを最小化する 我々は,制約のないサンプリング問題に対して,我々のアルゴリズムがSVGDのような既存の粒子ベースアルゴリズムと同等に動作することを示す。
  論文  参考訳（メタデータ） (2022-10-24T16:54:18Z)
• Cooperative Distribution Alignment via JSD Upper Bound [7.071749623370137]
  教師なし分布アライメントは、2つ以上のソース分布を共有整列分布にマッピングする変換を推定する。 このタスクには、生成モデリング、教師なしドメイン適応、社会的に認識された学習など、多くの応用がある。 我々は,従来のフローベースアプローチを,単一の非逆数フレームワークで統一し,一般化することを提案する。
  論文  参考訳（メタデータ） (2022-07-05T20:09:03Z)
• Bounds all around: training energy-based models with bidirectional bounds [26.507268387712145]
  エネルギーベースモデル(EBM)は密度推定のためのエレガントなフレームワークを提供するが、それらは訓練が難しいことで知られている。 近年の研究では、ESMは変動値関数を持つミニマックスゲームを通じて訓練される。 ミニマックスゲームにおいて,EBM対数ライクな二方向境界を提案し,下位境界を最大化し,上限を最小化する。
  論文  参考訳（メタデータ） (2021-11-01T13:25:38Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Sequential- and Parallel- Constrained Max-value Entropy Search via Information Lower Bound [9.09466320810472]
  我々は、最大値エントロピー探索(MES)と呼ばれる情報理論のアプローチに焦点を当てる。 CMES-IBO(Constrained Max-value Entropy Search via Information lower BOund)と呼ばれる新しい制約BO法を提案する。
  論文  参考訳（メタデータ） (2021-02-19T08:10:51Z)
• On Lower Bounds for Standard and Robust Gaussian Process Bandit Optimization [55.937424268654645]
  有界ノルムを持つ関数のブラックボックス最適化問題に対するアルゴリズム非依存な下界を考える。 本稿では, 単純さ, 汎用性, エラー確率への依存性の向上など, 後悔の下位境界を導出するための新しい証明手法を提案する。
  論文  参考訳（メタデータ） (2020-08-20T03:48:14Z)
• Lower bounds in multiple testing: A framework based on derandomized proxies [107.69746750639584]
  本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。 これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
  論文  参考訳（メタデータ） (2020-05-07T19:59:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。