論文の概要: PPSEBM: An Energy-Based Model with Progressive Parameter Selection for Continual Learning

• arxiv url: http://arxiv.org/abs/2512.15658v1
• Date: Wed, 17 Dec 2025 18:11:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:27.095927
• Title: PPSEBM: An Energy-Based Model with Progressive Parameter Selection for Continual Learning
• Title（参考訳）: PPSEBM:連続学習のためのプログレッシブパラメータ選択によるエネルギーベースモデル
• Authors: Xiaodi Li, Dingcheng Li, Rujun Gao, Mahmoud Zamani, Feng Mi, Latifur Khan,
• Abstract要約: 機械学習の大きな障害は破滅的な忘れであり、新しいタスクが学習されると、以前のタスクのパフォーマンスが低下する。 本稿では,PPS(Progressive Contingency Selection)とEBM(Energy-Based Model)を統合した新しいフレームワークPPSEBMを紹介する。 PPSは新しいタスクごとに個別のタスク固有のパラメータを割り当て、ESMは以前のタスクから代表的な擬似サンプルを生成する。 多様なNLPベンチマーク実験の結果、PPSEBMは最先端の連続学習法より優れていることが示された。
• 参考スコア（独自算出の注目度）: 12.099628640050554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning remains a fundamental challenge in machine learning, requiring models to learn from a stream of tasks without forgetting previously acquired knowledge. A major obstacle in this setting is catastrophic forgetting, where performance on earlier tasks degrades as new tasks are learned. In this paper, we introduce PPSEBM, a novel framework that integrates an Energy-Based Model (EBM) with Progressive Parameter Selection (PPS) to effectively address catastrophic forgetting in continual learning for natural language processing tasks. In PPSEBM, progressive parameter selection allocates distinct, task-specific parameters for each new task, while the EBM generates representative pseudo-samples from prior tasks. These generated samples actively inform and guide the parameter selection process, enhancing the model's ability to retain past knowledge while adapting to new tasks. Experimental results on diverse NLP benchmarks demonstrate that PPSEBM outperforms state-of-the-art continual learning methods, offering a promising and robust solution to mitigate catastrophic forgetting.
• Abstract（参考訳）: 継続的学習は、機械学習の基本的な課題であり、モデルが以前獲得した知識を忘れずに、タスクの流れから学ぶ必要がある。 この設定の大きな障害は破滅的な忘れことであり、新しいタスクが学習されると、以前のタスクのパフォーマンスが低下する。 本稿では,エネルギーベースモデル(EBM)とプログレッシブパラメータ選択(PPS)を統合した新しいフレームワークであるPPSEBMを紹介し,自然言語処理タスクの連続学習における破滅的な忘れを効果的に解決する。 PPSEBMでは、プログレッシブパラメータ選択は新しいタスクごとに個別のタスク固有のパラメータを割り当て、EBMは以前のタスクから代表的な擬似サンプルを生成する。 これらの生成されたサンプルはパラメータ選択プロセスに積極的に情報を与え、新しいタスクに適応しながら過去の知識を保持する能力を高める。 多様なNLPベンチマーク実験の結果、PPSEBMは最先端の継続的学習方法よりも優れており、破滅的な忘れを軽減できる有望で堅牢なソリューションを提供する。

関連論文リスト

• Mixtures of SubExperts for Large Language Continual Learning [6.425296129700846]
  タスクの連続ストリームに大規模言語モデルを適用することは、決定的だが挑戦的な取り組みである。 1組のPEFTパラメータを新しいタスクに再利用すると、しばしば以前の知識を壊滅的に忘れてしまう。 本稿では,最小限の忘れ込みと効率のよい拡張性を実現するための,新しい連続学習フレームワークであるTextitMixtures of SubExperts (MoSEs)を提案する。
  論文  参考訳（メタデータ） (2025-11-09T05:44:45Z)
• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Model Predictive Task Sampling for Efficient and Robust Adaptation [57.414812940406996]
  本稿では,タスク空間と適応リスク分布をブリッジするフレームワークであるモデル予測タスクサンプリング(MPTS)を紹介する。 MPTSは、エピソード最適化プロセスの特徴付けに生成モデルを使用し、後部推論によりタスク固有の適応リスクを予測する。 MPTSはゼロショット、少数ショット、教師付き微調整設定にシームレスに統合される。
  論文  参考訳（メタデータ） (2025-01-19T13:14:53Z)
• LSEBMCL: A Latent Space Energy-Based Model for Continual Learning [20.356926275395004]
  この研究は、NLPタスクにおけるESMの有効性を示し、すべての実験で最先端の結果を達成する。 この研究で提案されたLSEBMCL(Latent Space Energy-based Model for Continual Learning)は、エネルギーベースモデル(EBM)を用いて破滅的な忘れ込みを防ぐ。
  論文  参考訳（メタデータ） (2025-01-09T15:47:30Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。