論文の概要: Learning Proposals for Practical Energy-Based Regression

• arxiv url: http://arxiv.org/abs/2110.11948v2
• Date: Tue, 7 Nov 2023 11:23:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 20:19:40.045497
• Title: Learning Proposals for Practical Energy-Based Regression
• Title（参考訳）: 実践的エネルギーベース回帰のための学習提案
• Authors: Fredrik K. Gustafsson, Martin Danelljan, Thomas B. Sch\"on
• Abstract要約: 近年、エネルギーベースモデル(EBM)は機械学習の中で復活を遂げている。 本稿では,異なるネットワークヘッドによってパラメータ化される効率的な提案分布を自動的に学習する,概念的にシンプルな手法を提案する。 テスト時には,学習したESMを効率よく評価し,スタンドアローンの予測を生成するために,トレーニングされた提案で重要サンプリングを利用することができる。
• 参考スコア（独自算出の注目度）: 46.05502630457458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Energy-based models (EBMs) have experienced a resurgence within machine learning in recent years, including as a promising alternative for probabilistic regression. However, energy-based regression requires a proposal distribution to be manually designed for training, and an initial estimate has to be provided at test-time. We address both of these issues by introducing a conceptually simple method to automatically learn an effective proposal distribution, which is parameterized by a separate network head. To this end, we derive a surprising result, leading to a unified training objective that jointly minimizes the KL divergence from the proposal to the EBM, and the negative log-likelihood of the EBM. At test-time, we can then employ importance sampling with the trained proposal to efficiently evaluate the learned EBM and produce stand-alone predictions. Furthermore, we utilize our derived training objective to learn mixture density networks (MDNs) with a jointly trained energy-based teacher, consistently outperforming conventional MDN training on four real-world regression tasks within computer vision. Code is available at https://github.com/fregu856/ebms_proposals.
• Abstract（参考訳）: エネルギーベースモデル(EBM)は近年、確率的回帰の有望な代替手段として、機械学習内で復活を遂げている。 しかし、エネルギーベースの回帰は、手動でトレーニング用に設計する提案分布を必要とし、最初の見積もりはテスト時に提供する必要がある。 そこで本研究では, ネットワークヘッドによってパラメータ化される効果的な提案分布を自動学習する概念的に単純な手法を導入することで, 両課題に対処した。 この結果から,EBM への提案からの KL の分岐と EBM の負の対数類似性を両立させる統一的な学習目標が導出された。 テスト時には,学習したESMを効率よく評価し,スタンドアローン予測を生成するために,トレーニングされた提案で重要サンプリングを利用することができる。 さらに,コンピュータビジョンにおける4つの実世界の回帰タスクにおいて,従来のMDNトレーニングを一貫して上回りながら,混合密度ネットワーク(MDN)とエネルギーベースの教師を併用して学習する。 コードはhttps://github.com/fregu856/ebms_proposalsで入手できる。

関連論文リスト

• Learning Energy-Based Models by Cooperative Diffusion Recovery Likelihood [64.95663299945171]
  高次元データに基づくエネルギーベースモデル(EBM)の訓練は、困難かつ時間を要する可能性がある。 EBMと、GANや拡散モデルのような他の生成フレームワークとの間には、サンプル品質に顕著なギャップがある。 本研究では,協調拡散回復可能性 (CDRL) を提案する。
  論文  参考訳（メタデータ） (2023-09-10T22:05:24Z)
• Non-Generative Energy Based Models [3.1447898427012473]
  エネルギーベースモデル(EBM)はコンピュータビジョンの中でますます人気が高まっている。 我々は、非生成的トレーニングアプローチ、非生成的EMM(NG-EBM)を提案する。 我々のNG-EBMトレーニング戦略は、校正、アウト・オブ・ディストリビューション検出、対向抵抗におけるEMMの利点の多くを保っていることを示す。
  論文  参考訳（メタデータ） (2023-04-03T18:47:37Z)
• CoopInit: Initializing Generative Adversarial Networks via Cooperative Learning [50.90384817689249]
  CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。 本稿では,画像生成における提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-03-21T07:49:32Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Federated Learning for Short-term Residential Energy Demand Forecasting [4.769747792846004]
  エネルギー需要予測は、需要と供給のバランスを保ち、電力網の安定的な負荷を維持するためにエネルギー産業内で実施される重要な課題である。 供給が信頼性の低い再生可能エネルギー生成へと移行するにつれ、スマートメーターはこれらの予測タスクを支援する上で不可欠な要素であることが証明される。 しかし、プライバシーを意識した消費者は、詳細な消費データへの侵入を恐れている。
  論文  参考訳（メタデータ） (2021-05-27T17:33:09Z)
• Energy-Based Models for Continual Learning [36.05297743063411]
  我々は、連続学習問題に対する有望なモデルクラスとして、エネルギーベースモデル(EBM)を動機付けている。 提案した連続学習用EMMは, 単純で, 効率的で, いくつかのベンチマークにおいて, ベースライン法よりも優れている。
  論文  参考訳（メタデータ） (2020-11-24T17:08:13Z)
• No MCMC for me: Amortized sampling for fast and stable training of energy-based models [62.1234885852552]
  エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。 本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。 次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
  論文  参考訳（メタデータ） (2020-10-08T19:17:20Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Energy-Based Imitation Learning [29.55675131809474]
  我々は、エージェントが専門家によるデモンストレーションから最適なポリシーを回復しようとする模倣学習(IL)の一般的なシナリオに取り組む。 本稿では,エネルギーベースモデル(EBM)の最近の進歩に触発されて,エネルギーベース・イミテーション・ラーニング(EBIL)というシンプルなILフレームワークを提案する。 EBIL は EBM と cccupancy measure matching の両概念を組み合わせており、理論解析により EBIL と Max-Entropy IRL (MaxEnt IRL) のアプローチが同じコインの2つの側面であることを明らかにする。
  論文  参考訳（メタデータ） (2020-04-20T15:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。