論文の概要: Energy-Based Models for Continual Learning
- arxiv url: http://arxiv.org/abs/2011.12216v2
- Date: Thu, 18 Feb 2021 05:00:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 12:08:40.867213
- Title: Energy-Based Models for Continual Learning
- Title（参考訳）: 連続学習のためのエネルギーモデル
- Authors: Shuang Li, Yilun Du, Gido M. van de Ven, Igor Mordatch
- Abstract要約: 我々は、連続学習問題に対する有望なモデルクラスとして、エネルギーベースモデル(EBM)を動機付けている。
提案した連続学習用EMMは, 単純で, 効率的で, いくつかのベンチマークにおいて, ベースライン法よりも優れている。
- 参考スコア（独自算出の注目度）: 36.05297743063411
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We motivate Energy-Based Models (EBMs) as a promising model class for
continual learning problems. Instead of tackling continual learning via the use
of external memory, growing models, or regularization, EBMs have a natural way
to support a dynamically-growing number of tasks or classes that causes less
interference with previously learned information. Our proposed version of EBMs
for continual learning is simple, efficient and outperforms baseline methods by
a large margin on several benchmarks. Moreover, our proposed contrastive
divergence based training objective can be applied to other continual learning
methods, resulting in substantial boosts in their performance. We also show
that EBMs are adaptable to a more general continual learning setting where the
data distribution changes without the notion of explicitly delineated tasks.
These observations point towards EBMs as a class of models naturally inclined
towards the continual learning regime.
- Abstract（参考訳）: 我々は、連続学習問題に対する有望なモデルクラスとして、エネルギーベースモデル(EBM)を動機付けている。
外部記憶、成長するモデル、正規化などを通じて継続的な学習に取り組む代わりに、ESMは、以前に学習された情報への干渉を少なくする、動的に成長するタスクやクラスをサポートする自然な方法を持っている。
提案するebmsの連続学習用バージョンは単純で効率的であり,いくつかのベンチマークにおいてベースラインメソッドを大きなマージンで上回っている。
さらに,提案するコントラスト発散に基づく学習目標を,他の連続学習法に適用することで,その性能が大幅に向上する。
また,ESMは,データ分布が変化するより一般的な連続的な学習環境に適用可能であることを示す。
これらの観察は、自然に連続的な学習体制に傾いているモデルのクラスとしてebmに向けられている。
関連論文リスト
- Hitchhiker's guide on Energy-Based Models: a comprehensive review on the relation with other generative models, sampling and statistical physics [0.0]
エネルギーベースモデル(EBM)は、生成モデリングの領域において強力なフレームワークとして登場した。
このレビューは、物理学者にESMの包括的理解を提供し、他の生成モデルとの関係を説明することを目的としている。
論文 参考訳（メタデータ） (2024-06-19T16:08:00Z) - Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。
その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。
過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
論文 参考訳（メタデータ） (2024-06-13T14:41:00Z) - Revisiting Energy Based Models as Policies: Ranking Noise Contrastive
Estimation and Interpolating Energy Models [18.949193683555237]
本研究では,エネルギーベースモデル (EBM) の選択を政策クラスとして再考する。
我々は,いくつかの重要な要素を組み合わせたエネルギーモデルのための学習目標とアルゴリズムを開発する。
Inlicit Behavior Cloning (IBC) の目的が実際に人口レベルでも偏っていることを示す。
論文 参考訳（メタデータ） (2023-09-11T20:13:47Z) - On Feature Diversity in Energy-based Models [98.78384185493624]
エネルギーベースモデル(EBM)は通常、異なる特徴の組み合わせを学習し、入力構成ごとにエネルギーマッピングを生成する内部モデルによって構成される。
EBMのほぼ正しい(PAC)理論を拡張し,EBMの性能に及ぼす冗長性低減の影響を解析した。
論文 参考訳（メタデータ） (2023-06-02T12:30:42Z) - Guiding Energy-based Models via Contrastive Latent Variables [81.68492940158436]
エネルギーベースモデル(EBM)は、明示的な密度とアーキテクチャの柔軟性の両方を提供する一般的な生成フレームワークである。
EBMとGANのような生成フレームワークの間には、世代品質の点で大きなギャップがあることが多い。
コントラスト表現学習によるESM改善のための新しい効果的なフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T10:50:25Z) - Latent Diffusion Energy-Based Model for Interpretable Text Modeling [104.85356157724372]
本稿では,拡散モデルと潜時空間ESMの共生を変動学習フレームワークで導入する。
我々は,学習した潜在空間の品質を向上させるために,情報ボトルネックと合わせて幾何学的クラスタリングに基づく正規化を開発する。
論文 参考訳（メタデータ） (2022-06-13T03:41:31Z) - How to Train Your Energy-Based Models [19.65375049263317]
エネルギーベースモデル(EBM)は、未知の正規化定数まで確率密度や質量関数を指定する。
本チュートリアルは,ESMの適用や研究プロジェクト開始を希望する生成モデルの基本的理解者を対象としている。
論文 参考訳（メタデータ） (2021-01-09T04:51:31Z) - No MCMC for me: Amortized sampling for fast and stable training of
energy-based models [62.1234885852552]
エネルギーベースモデル(EBM)は、不確実性を表す柔軟で魅力的な方法である。
本稿では,エントロピー規則化ジェネレータを用いてEMMを大規模に訓練し,MCMCサンプリングを記憶する簡単な方法を提案する。
次に、最近提案されたジョイント・エナジー・モデル(JEM)に推定器を適用し、元の性能と高速で安定したトレーニングとを一致させる。
論文 参考訳（メタデータ） (2020-10-08T19:17:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。