論文の概要: Enhancing Continual Learning with Global Prototypes: Counteracting Negative Representation Drift

• arxiv url: http://arxiv.org/abs/2205.12186v2
• Date: Thu, 30 Mar 2023 17:15:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-31 18:30:09.979040
• Title: Enhancing Continual Learning with Global Prototypes: Counteracting Negative Representation Drift
• Title（参考訳）: グローバルプロトタイプによる連続学習の強化 - 否定表現ドリフトの反作用
• Authors: Xueying Bai, Jinghuan Shang, Yifan Sun, Niranjan Balasubramanian
• Abstract要約: 継続的な学習は、あるタスクから別のタスクにデータ分散がシフトすることで、時間の経過とともに一連のタスクを学習することを目的としている。 負の表現の漂流は、局所的に学習されたクラスプロトタイプとデータ表現がタスク間で相関が悪くなることによって、破滅的な忘れを引き起こす可能性がある。 本稿では,学習のガイドとなるグローバルプロトタイプを見つけ,自己教師型情報の正規化によってデータ表現を学習する手法を提案する。
• 参考スコア（独自算出の注目度）: 16.177180198865848
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to learn a sequence of tasks over time, with data distributions shifting from one task to another. When training on new task data, data representations from old tasks may drift. Some negative representation drift can result in catastrophic forgetting, by causing the locally learned class prototypes and data representations to correlate poorly across tasks. To mitigate such representation drift, we propose a method that finds global prototypes to guide the learning, and learns data representations with the regularization of the self-supervised information. Specifically, for NLP tasks, we formulate each task in a masked language modeling style, and learn the task via a neighbor attention mechanism over a pre-trained language model. Experimental results show that our proposed method can learn fairly consistent representations with less representation drift, and significantly reduce catastrophic forgetting in CL without resampling data from past tasks.
• Abstract（参考訳）: 連続学習(CL)は、あるタスクから別のタスクへデータ分布をシフトさせて、時間の経過とともに一連のタスクを学習することを目的としている。 新しいタスクデータに対するトレーニングでは、古いタスクからのデータ表現がドリフトする可能性がある。 負の表現の漂流は、局所的に学習されたクラスプロトタイプとデータ表現がタスク間で相関が悪くなることによって、破滅的な忘れを引き起こす可能性がある。 このような表現のドリフトを軽減するために,学習をガイドするグローバルプロトタイプを見つけ,自己教師情報の正規化によってデータ表現を学習する手法を提案する。 特に、nlpタスクでは、各タスクをマスキング言語モデリングスタイルで定式化し、事前学習した言語モデルよりも近隣の注意機構を介してタスクを学習する。 実験結果から,提案手法は表現のドリフトを少なくして整合性のある表現を学習でき,過去のタスクからデータを再サンプリングすることなくCLにおける破滅的な忘れを著しく低減できることがわかった。

関連論文リスト

• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning [41.984652077669104]
  標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。 本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
  論文  参考訳（メタデータ） (2024-01-04T06:46:19Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• Provable and Efficient Continual Representation Learning [40.78975699391065]
  連続学習(CL)では、悲惨なことを忘れずに一連のタスクを学習できるモデルを設計することが目的である。 我々は、新しいタスクが到着するにつれて進化する表現を学習する連続表現学習の課題について研究する。 初期タスクが大きなサンプルサイズと高い"表現多様性"を持つ場合,CLのメリットが示される。
  論文  参考訳（メタデータ） (2022-03-03T21:23:08Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。