論文の概要: On Feature Diversity in Energy-based Models

• arxiv url: http://arxiv.org/abs/2306.01489v1
• Date: Fri, 2 Jun 2023 12:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 15:00:30.301917
• Title: On Feature Diversity in Energy-based Models
• Title（参考訳）: エネルギーモデルの特徴多様性について
• Authors: Firas Laakom, Jenni Raitoharju, Alexandros Iosifidis, Moncef Gabbouj
• Abstract要約: エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
• 参考スコア（独自算出の注目度）: 98.78384185493624
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Energy-based learning is a powerful learning paradigm that encapsulates various discriminative and generative approaches. An energy-based model (EBM) is typically formed of inner-model(s) that learn a combination of the different features to generate an energy mapping for each input configuration. In this paper, we focus on the diversity of the produced feature set. We extend the probably approximately correct (PAC) theory of EBMs and analyze the effect of redundancy reduction on the performance of EBMs. We derive generalization bounds for various learning contexts, i.e., regression, classification, and implicit regression, with different energy functions and we show that indeed reducing redundancy of the feature set can consistently decrease the gap between the true and empirical expectation of the energy and boosts the performance of the model.
• Abstract（参考訳）: エネルギーベースの学習は、様々な識別的および生成的アプローチをカプセル化する強力な学習パラダイムである。 エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。 本稿では,生成した特徴集合の多様性に着目した。 EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。 我々は、様々な学習文脈、すなわち回帰、分類、暗黙回帰の一般化境界をエネルギー関数で導き、特徴集合の冗長性を実際に減少させることで、エネルギーの真の期待と経験的な期待のギャップを一貫して減らし、モデルの性能を高めることを示す。

関連論文リスト

• Hitchhiker's guide on Energy-Based Models: a comprehensive review on the relation with other generative models, sampling and statistical physics [0.0]
  エネルギーベースモデル(EBM)は、生成モデリングの領域において強力なフレームワークとして登場した。 このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
  論文  参考訳（メタデータ） (2024-06-19T16:08:00Z)
• Improving Adversarial Energy-Based Model via Diffusion Process [25.023967485839155]
  対戦型EMMはミニマックストレーニングゲームを形成するジェネレータを導入する。 拡散モデルにインスパイアされた私たちは、長い過程をいくつかの小さなステップに分割するために、各デノイングステップにESMを組み込んだ。 本実験は, 既存の敵ESMと比較して, 世代が著しく改善したことを示す。
  論文  参考訳（メタデータ） (2024-03-04T01:33:53Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
  本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。 我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
  論文  参考訳（メタデータ） (2022-06-13T03:41:31Z)
• Energy-Based Models for Continual Learning [36.05297743063411]
  我々は、連続学習問題に対する有望なモデルクラスとして、エネルギーベースモデル(EBM)を動機付けている。 提案した連続学習用EMMは, 単純で, 効率的で, いくつかのベンチマークにおいて, ベースライン法よりも優れている。
  論文  参考訳（メタデータ） (2020-11-24T17:08:13Z)
• Energy-based View of Retrosynthesis [70.66156081030766]
  エネルギーモデルとしてシーケンスおよびグラフベースの手法を統一するフレームワークを提案する。 本稿では,ベイズ前方および後方予測に対して一貫した訓練を行うフレームワーク内での新しい二重変種を提案する。 このモデルは、反応型が不明なテンプレートフリーアプローチに対して、最先端の性能を9.6%向上させる。
  論文  参考訳（メタデータ） (2020-07-14T18:51:06Z)
• Joint Training of Variational Auto-Encoder and Latent Energy-Based Model [112.7509497792616]
  本稿では,変分オートエンコーダ(VAE)と潜時エネルギーベースモデル(EBM)を併用した共同学習手法を提案する。 VAEと潜伏ESMのジョイントトレーニングは、潜伏ベクトル上の3つの関節分布と画像との間の3つのクルバック・リーブラー分岐からなる目的関数に基づいている。
  論文  参考訳（メタデータ） (2020-06-10T20:32:25Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)
• ICE-BeeM: Identifiable Conditional Energy-Based Deep Models Based on Nonlinear ICA [11.919315372249802]
  確率モデルの同定可能性理論を考察する。 我々は,独立に修飾されたコンポーネント分析の枠組みにおけるコンポーネントの推定に,我々のモデルを利用できることを示す。
  論文  参考訳（メタデータ） (2020-02-26T14:43:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。