論文の概要: Joint Learning of Energy-based Models and their Partition Function

• arxiv url: http://arxiv.org/abs/2501.18528v1
• Date: Thu, 30 Jan 2025 17:46:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:13:05.514677
• Title: Joint Learning of Energy-based Models and their Partition Function
• Title（参考訳）: エネルギーモデルの統合学習とその分割関数
• Authors: Michael E. Sander, Vincent Roulet, Tianlin Liu, Mathieu Blondel,
• Abstract要約: エネルギーベースモデル(EBM)は、ニューラルネットワークを用いて確率分布をパラメータ化するための柔軟なフレームワークを提供する。 本研究では,ESMを大規模に学習するための新しい定式化法を提案する。 当社のアプローチは,Fenchel-Young損失の広範な家族に自然に及んでいることを示す。
• 参考スコア（独自算出の注目度）: 19.174145933837927
• License:
• Abstract: Energy-based models (EBMs) offer a flexible framework for parameterizing probability distributions using neural networks. However, learning EBMs by exact maximum likelihood estimation (MLE) is generally intractable, due to the need to compute the partition function (normalization constant). In this paper, we propose a novel formulation for approximately learning probabilistic EBMs in combinatorially-large discrete spaces, such as sets or permutations. Our key idea is to jointly learn both an energy model and its log-partition, both parameterized as a neural network. Our approach not only provides a novel tractable objective criterion to learn EBMs by stochastic gradient descent (without relying on MCMC), but also a novel means to estimate the log-partition function on unseen data points. On the theoretical side, we show that our approach recovers the optimal MLE solution when optimizing in the space of continuous functions. Furthermore, we show that our approach naturally extends to the broader family of Fenchel-Young losses, allowing us to obtain the first tractable method for optimizing the sparsemax loss in combinatorially-large spaces. We demonstrate our approach on multilabel classification and label ranking.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は、ニューラルネットワークを用いて確率分布をパラメータ化するための柔軟なフレームワークを提供する。 しかし、分割関数(正規化定数)を計算する必要があるため、完全最大推定(MLE)によるESMの学習は一般的に難解である。 本稿では,集合や置換など,組合せ的に大きい離散空間における確率的EMMを概ね学習するための新しい定式化を提案する。 私たちのキーとなるアイデアは、ニューラルネットワークとしてパラメータ化されたエネルギーモデルとログパーティションの両方を共同で学習することです。 提案手法は,確率勾配降下(MCMCに依存しない)によりESMを学習するための,新たな抽出可能な客観的基準を提供するだけでなく,未知のデータ点の対数分割関数を推定する新たな手段を提供する。 理論的には、連続関数の空間を最適化するとき、最適MLE解が回復することを示す。 さらに,本手法はFenchel-Young損失のより広いファミリーにまで自然に拡張され,組合せ空間におけるスパースマックス損失を最適化する最初のトラクタブルな手法が得られた。 マルチラベル分類とラベルランキングに対するアプローチを実証する。

関連論文リスト

• A Stochastic Approach to Bi-Level Optimization for Hyperparameter Optimization and Meta Learning [74.80956524812714]
  我々は,現代のディープラーニングにおいて広く普及している一般的なメタ学習問題に対処する。 これらの問題は、しばしばBi-Level Optimizations (BLO)として定式化される。 我々は,与えられたBLO問題を,内部損失関数が滑らかな分布となり,外損失が内部分布に対する期待損失となるようなii最適化に変換することにより,新たな視点を導入する。
  論文  参考訳（メタデータ） (2024-10-14T12:10:06Z)
• Strongly Isomorphic Neural Optimal Transport Across Incomparable Spaces [7.535219325248997]
  本稿ではGromov-Monge問題の基本的性質の1つに根ざした新しいニューラルな定式化について述べる。 学習可能なOTマップを2つのコンポーネントに分解することで、この特性を運用する。 我々のフレームワークは、様々な空間にわたるOTマップを学習するための有望なアプローチを提供する。
  論文  参考訳（メタデータ） (2024-07-20T18:27:11Z)
• Maximize to Explore: One Objective Function Fusing Estimation, Planning, and Exploration [87.53543137162488]
  我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。 textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。 様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
  論文  参考訳（メタデータ） (2023-05-29T17:25:26Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Improvements to Supervised EM Learning of Shared Kernel Models by Feature Space Partitioning [0.0]
  本稿では、EMトレーニングアルゴリズムの導出における厳密さの欠如と、その手法の計算複雑性について述べる。 まず、ガウス共有カーネルモデル PRBF 分類器に対して、EM の詳細な導出を行う。 結果のSKEMアルゴリズムの複雑さを軽減するために、特徴空間を変数の非重複部分集合の$R$に分割する。
  論文  参考訳（メタデータ） (2022-05-31T09:18:58Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Information Theoretic Structured Generative Modeling [13.117829542251188]
  構造生成モデル (Structured Generative Model, SGM) と呼ばれる新しい生成モデルフレームワークが提案され, 簡単な最適化が可能となった。 この実装では、無限のガウス混合モデルを学習するために適合した単一白色ノイズ源への正則入力によって駆動される1つのニューラルネットワークを採用している。 予備的な結果は、SGMがデータ効率と分散、従来のガウス混合モデルと変分混合モデル、および敵ネットワークのトレーニングにおいてMINE推定を著しく改善することを示している。
  論文  参考訳（メタデータ） (2021-10-12T07:44:18Z)
• Implicit MLE: Backpropagating Through Discrete Exponential Family Distributions [24.389388509299543]
  Implicit Maximum Likelihood Estimationは、離散指数族分布と微分可能なニューラル成分を組み合わせたモデルのエンドツーエンド学習のためのフレームワークである。 I-MLEは、問題固有の緩和に依存する既存のアプローチよりも優れており、しばしば優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-03T12:42:21Z)
• Efficient semidefinite-programming-based inference for binary and multi-class MRFs [83.09715052229782]
  分割関数やMAP推定をペアワイズMRFで効率的に計算する手法を提案する。 一般のバイナリMRFから完全多クラス設定への半定緩和を拡張し、解法を用いて再び効率的に解けるようなコンパクトな半定緩和を開発する。
  論文  参考訳（メタデータ） (2020-12-04T15:36:29Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。