論文の概要: Learning Energy-Based Models by Self-normalising the Likelihood

• arxiv url: http://arxiv.org/abs/2503.07021v1
• Date: Mon, 10 Mar 2025 08:01:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:08.544637
• Title: Learning Energy-Based Models by Self-normalising the Likelihood
• Title（参考訳）: 自己正規化によるエネルギーモデル学習
• Authors: Hugo Senetaire, Paul Jeha, Pierre-Alexandre Mattei, Jes Frellsen,
• Abstract要約: エネルギーベースモデルを最大限に訓練することは、難解な正規化定数のために困難である。 伝統的な手法は、正規化定数の対数勾配を推定するために高価なマルコフ連鎖モンテカルロサンプリングに依存する。 本稿では,正規化定数を表す1つの学習可能なパラメータを新たに導入する,自己正規化ログ類似度(SNL)という新しい目的を提案する。
• 参考スコア（独自算出の注目度）: 22.387720009733158
• License:
• Abstract: Training an energy-based model (EBM) with maximum likelihood is challenging due to the intractable normalisation constant. Traditional methods rely on expensive Markov chain Monte Carlo (MCMC) sampling to estimate the gradient of logartihm of the normalisation constant. We propose a novel objective called self-normalised log-likelihood (SNL) that introduces a single additional learnable parameter representing the normalisation constant compared to the regular log-likelihood. SNL is a lower bound of the log-likelihood, and its optimum corresponds to both the maximum likelihood estimate of the model parameters and the normalisation constant. We show that the SNL objective is concave in the model parameters for exponential family distributions. Unlike the regular log-likelihood, the SNL can be directly optimised using stochastic gradient techniques by sampling from a crude proposal distribution. We validate the effectiveness of our proposed method on various density estimation tasks as well as EBMs for regression. Our results show that the proposed method, while simpler to implement and tune, outperforms existing techniques.
• Abstract（参考訳）: エネルギーベースモデル(EBM)を最大限に訓練することは、難解な正規化定数のために困難である。 伝統的な手法は、正規化定数の対数勾配を推定するために高価なマルコフ連鎖モンテカルロ(MCMC)サンプリングに依存する。 正規化定数を表す1つの学習可能なパラメータを正規化定数と比較して導入する,自己正規化ログ類似度(SNL)と呼ばれる新しい目的を提案する。 SNL は対数類似度の下限であり、その最適値はモデルパラメータの最大推定値と正規化定数の両方に対応する。 本研究では,指数関数系分布のモデルパラメータにおいてSNLの目的が凹凸であることを示す。 通常のログライクリフとは異なり、SNLは粗い提案分布からサンプリングすることで確率勾配法を用いて直接最適化することができる。 提案手法の各種密度推定タスクおよび回帰のためのEMMに対する有効性を検証する。 提案手法は実装とチューニングが簡単であるが,既存の手法よりも優れていることを示す。

関連論文リスト

• Training Deep Learning Models with Norm-Constrained LMOs [56.00317694850397]
  正規球上の線形最小化オラクル(LMO)を利用する最適化手法について検討する。 この問題の幾何学に適応するためにLMOを用いた新しいアルゴリズム群を提案し, 意外なことに, 制約のない問題に適用可能であることを示す。
  論文  参考訳（メタデータ） (2025-02-11T13:10:34Z)
• Balanced Training of Energy-Based Models with Adaptive Flow Sampling [13.951904929884618]
  エネルギーベースモデル (EBMs) は、非正規化ログ密度を直接パラメータ化する汎用密度推定モデルである。 我々は、異なる種類の生成モデル、正規化フロー(NF)を用いたESMのための新しい最大可能性トレーニングアルゴリズムを提案する。 本手法はトレーニング中にNFをEMMに適合させ,NF支援サンプリング方式によりESMの正確な勾配が常に得られるようにする。
  論文  参考訳（メタデータ） (2023-06-01T13:58:06Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Community Detection in the Stochastic Block Model by Mixed Integer Programming [3.8073142980733]
  Degree-Corrected Block Model (DCSBM) は、コミュニティ構造を持つランダムグラフを生成する一般的なモデルである。 DCSBMに基づくコミュニティ検出の標準的なアプローチは、最大推定(MLE)により観測されたネットワークデータを生成する可能性が最も高いモデルパラメータを探索することである。 本稿では,モデルパラメータと最大確率のコミュニティ割当を観測グラフから確実に求める数学的計画式と厳密解法を提案する。
  論文  参考訳（メタデータ） (2021-01-26T22:04:40Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• SODEN: A Scalable Continuous-Time Survival Model through Ordinary Differential Equation Networks [14.564168076456822]
  本稿では、ニューラルネットワークとスケーラブルな最適化アルゴリズムを用いた生存分析のためのフレキシブルモデルを提案する。 提案手法の有効性を,既存の最先端ディープラーニングサバイバル分析モデルと比較した。
  論文  参考訳（メタデータ） (2020-08-19T19:11:25Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Stochastic Normalizing Flows [2.323220706791067]
  単純な事前分布の変換を学習するために,フローの正規化が有効であることを示す。 サンプルとフローパラメータの両方をエンドツーエンドに最適化できる効率的なトレーニング手順を導出する。 いくつかのベンチマークでSNFの表現力,サンプリング効率,正当性について述べる。
  論文  参考訳（メタデータ） (2020-02-16T23:29:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。