論文の概要: LSEBMCL: A Latent Space Energy-Based Model for Continual Learning

• arxiv url: http://arxiv.org/abs/2501.05495v1
• Date: Thu, 09 Jan 2025 15:47:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-13 15:28:43.751319
• Title: LSEBMCL: A Latent Space Energy-Based Model for Continual Learning
• Title（参考訳）: LSEBMCL:連続学習のための潜在宇宙エネルギーモデル
• Authors: Xiaodi Li, Dingcheng Li, Rujun Gao, Mahmoud Zamani, Latifur Khan,
• Abstract要約: この研究は、NLPタスクにおけるESMの有効性を示し、すべての実験で最先端の結果を達成する。 この研究で提案されたLSEBMCL(Latent Space Energy-based Model for Continual Learning)は、エネルギーベースモデル(EBM)を用いて破滅的な忘れ込みを防ぐ。
• 参考スコア（独自算出の注目度）: 20.356926275395004
• License:
• Abstract: Continual learning has become essential in many practical applications such as online news summaries and product classification. The primary challenge is known as catastrophic forgetting, a phenomenon where a model inadvertently discards previously learned knowledge when it is trained on new tasks. Existing solutions involve storing exemplars from previous classes, regularizing parameters during the fine-tuning process, or assigning different model parameters to each task. The proposed solution LSEBMCL (Latent Space Energy-Based Model for Continual Learning) in this work is to use energy-based models (EBMs) to prevent catastrophic forgetting by sampling data points from previous tasks when training on new ones. The EBM is a machine learning model that associates an energy value with each input data point. The proposed method uses an EBM layer as an outer-generator in the continual learning framework for NLP tasks. The study demonstrates the efficacy of EBM in NLP tasks, achieving state-of-the-art results in all experiments.
• Abstract（参考訳）: オンラインニュース要約や製品分類など,多くの実践的応用において継続的な学習が欠かせないものとなっている。 この現象は、モデルが新しいタスクでトレーニングされた際に、学習した知識を故意に捨ててしまう現象である。 既存のソリューションには、以前のクラスからの例証を保存すること、微調整プロセス中にパラメータを正規化すること、各タスクに異なるモデルパラメータを割り当てることが含まれる。 本研究で提案するLSEBMCL(Latent Space Energy-based Model for Continual Learning)は,新しいタスクのトレーニング時に,以前のタスクからデータポイントをサンプリングすることで,破滅的な忘れ込みを防止するために,エネルギーベースモデル(EBM)を使用することである。 EBMは、各入力データポイントにエネルギー値を関連付ける機械学習モデルである。 提案手法は,NLPタスクの連続学習フレームワークにおける外部ジェネレータとしてEMM層を用いる。 この研究は、NLPタスクにおけるESMの有効性を示し、すべての実験で最先端の結果を達成する。

関連論文リスト

• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [65.57123249246358]
  本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。 一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。 一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
  論文  参考訳（メタデータ） (2023-09-13T17:55:11Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• $\mathcal{F}$-EBM: Energy Based Learning of Functional Data [1.0896567381206714]
  エネルギーベースモデル (EBMs) は有限次元空間上の密度をモデル化するための非常に効果的なアプローチであることが証明されている。 有限個の点で評価された関数サンプルから関数の分布を学習できる新しいEMMのクラスを提案する。
  論文  参考訳（メタデータ） (2022-02-04T01:01:50Z)
• Learning Proposals for Practical Energy-Based Regression [46.05502630457458]
  近年、エネルギーベースモデル(EBM)は機械学習の中で復活を遂げている。 本稿では,異なるネットワークヘッドによってパラメータ化される効率的な提案分布を自動的に学習する,概念的にシンプルな手法を提案する。 テスト時には,学習したESMを効率よく評価し,スタンドアローンの予測を生成するために,トレーニングされた提案で重要サンプリングを利用することができる。
  論文  参考訳（メタデータ） (2021-10-22T17:58:05Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Energy-Based Models for Continual Learning [36.05297743063411]
  我々は、連続学習問題に対する有望なモデルクラスとして、エネルギーベースモデル(EBM)を動機付けている。 提案した連続学習用EMMは, 単純で, 効率的で, いくつかのベンチマークにおいて, ベースライン法よりも優れている。
  論文  参考訳（メタデータ） (2020-11-24T17:08:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。