論文の概要: Training Discrete Energy-Based Models with Energy Discrepancy

• arxiv url: http://arxiv.org/abs/2307.07595v1
• Date: Fri, 14 Jul 2023 19:38:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 19:06:37.033525
• Title: Training Discrete Energy-Based Models with Energy Discrepancy
• Title（参考訳）: エネルギー格差を考慮した離散型エネルギーベースモデルの訓練
• Authors: Tobias Schr\"oder, Zijing Ou, Yingzhen Li, Andrew B. Duncan
• Abstract要約: 離散空間上でのエネルギーベースモデル(EBM)の訓練は、そのような空間上でのサンプリングが難しいため困難である。 エネルギー差分(ED)を用いた個別ESMの訓練を提案する。 格子イジングモデル,バイナリ合成データ,離散画像データセットにおいて,それらの相対的な性能を示す。
• 参考スコア（独自算出の注目度）: 18.161764926125066
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training energy-based models (EBMs) on discrete spaces is challenging because sampling over such spaces can be difficult. We propose to train discrete EBMs with energy discrepancy (ED), a novel type of contrastive loss functional which only requires the evaluation of the energy function at data points and their perturbed counter parts, thus not relying on sampling strategies like Markov chain Monte Carlo (MCMC). Energy discrepancy offers theoretical guarantees for a broad class of perturbation processes of which we investigate three types: perturbations based on Bernoulli noise, based on deterministic transforms, and based on neighbourhood structures. We demonstrate their relative performance on lattice Ising models, binary synthetic data, and discrete image data sets.
• Abstract（参考訳）: 離散空間上でのエネルギーベースモデル(EBM)の訓練は、そのような空間上でのサンプリングが難しいため困難である。 我々は,データポイントとその摂動カウンタ部分におけるエネルギー関数の評価のみを必要とする新しいタイプのコントラスト損失関数であるエネルギー差分(ED)を用いた離散ESMの訓練を提案し,マルコフ連鎖モンテカルロ(MCMC)のようなサンプリング戦略に依存しない。 エネルギーの不一致は、ベルヌーイ雑音に基づく摂動、決定論的変換に基づく摂動、および近傍構造に基づく3種類の摂動過程に関する理論的な保証を提供する。 格子イジングモデル,バイナリ合成データ,離散画像データセットにおいて,それらの相対的な性能を示す。

関連論文リスト

• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Iterated Denoising Energy Matching for Sampling from Boltzmann Densities [109.23137009609519]
  反復Denoising Energy Matching (iDEM) iDEMは,拡散型サンプリング装置から高モデル密度のサンプリング領域を (I) 交換し, (II) それらのサンプルをマッチング目的に使用した。 提案手法は,全測定値の最先端性能を達成し,2～5倍の速さでトレーニングを行う。
  論文  参考訳（メタデータ） (2024-02-09T01:11:23Z)
• Energy-Based Models for Anomaly Detection: A Manifold Diffusion Recovery Approach [12.623417770432146]
  本稿では,データ内の低次元構造を利用した異常検出のための新しいエネルギーベースモデル(EBM)のトレーニング手法を提案する。 提案したアルゴリズムであるManifold Projection-Diffusion Recovery (MPDR) は、トレーニングデータセットを近似した低次元多様体に沿ったデータポイントを摂動する。 実験の結果,MPDRは多種多様なデータ型を含む様々な異常検出タスクに対して高い性能を示すことがわかった。
  論文  参考訳（メタデータ） (2023-10-28T11:18:39Z)
• Energy Discrepancies: A Score-Independent Loss for Energy-Based Models [20.250792836049882]
  本稿では,スコアの計算や高価なマルコフ連鎖モンテカルロの計算に頼らない新しい損失関数であるEnergy Discrepancy (ED)を提案する。 EDは明示的なスコアマッチングと負のログ類似損失に異なる限界でアプローチし,両者を効果的に補間することを示した。
  論文  参考訳（メタデータ） (2023-07-12T19:51:49Z)
• On Feature Diversity in Energy-based Models [98.78384185493624]
  エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
  論文  参考訳（メタデータ） (2023-06-02T12:30:42Z)
• Conjugate Energy-Based Models [7.8112101386166195]
  共役エネルギーベースモデル(英: Conconjungate Energy-based model、CEBM)は、データと潜伏変数の結合密度を定義する新しいエネルギーベースモデルである。 CEBMは、データから潜伏変数への教師なしマッピングを学ぶという意味で、変分オートエンコーダのようなユースケースを持つ。 実験により,共役型EMMは画像モデリング,潜在空間の予測能力,および様々なデータセットの領域外検出において競合する結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-06-25T17:51:41Z)
• Energy Aligning for Biased Models [39.00256193731365]
  クラス不均衡データのトレーニングは通常、多数クラスのサンプルを予測する傾向にあるバイアスのあるモデルをもたらす。 本稿では, バイアスを除去する簡易かつ効果的なEnergy Aligning法を提案する。 実験結果から,エネルギー整合性はクラス不均衡問題を効果的に軽減し,いくつかのベンチマークで最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-07T05:12:26Z)
• Energy-Based Processes for Exchangeable Data [109.04978766553612]
  エネルギーベースモデルを交換可能なデータに拡張するために、エネルギーベースプロセス(EBP)を導入する。 EBPの鍵となる利点は、集合上のより柔軟な分布を、その濃度を制限することなく表現できることである。 本研究では,多種多様なタスクにおける最先端性能を実演する電子掲示板の効率的な訓練手順を開発する。
  論文  参考訳（メタデータ） (2020-03-17T04:26:02Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。