論文の概要: Efficient Meta Lifelong-Learning with Limited Memory

• arxiv url: http://arxiv.org/abs/2010.02500v1
• Date: Tue, 6 Oct 2020 06:08:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 05:17:31.738591
• Title: Efficient Meta Lifelong-Learning with Limited Memory
• Title（参考訳）: メモリ制限によるメタ長学習の効率化
• Authors: Zirui Wang, Sanket Vaibhav Mehta, Barnab\'as P\'oczos and Jaime Carbonell
• Abstract要約: 最先端の生涯言語学習手法は、過去の例をエピソード記憶に保存し、トレーニング時間と推論時間の両方で再生する。 本稿では,生涯学習手法の3つの共通原則を特定し,それらを相乗的手法で組み合わせた効率的なメタライフロングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 10.877225692975886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current natural language processing models work well on a single task, yet they often fail to continuously learn new tasks without forgetting previous ones as they are re-trained throughout their lifetime, a challenge known as lifelong learning. State-of-the-art lifelong language learning methods store past examples in episodic memory and replay them at both training and inference time. However, as we show later in our experiments, there are three significant impediments: (1) needing unrealistically large memory module to achieve good performance, (2) suffering from negative transfer, (3) requiring multiple local adaptation steps for each test example that significantly slows down the inference speed. In this paper, we identify three common principles of lifelong learning methods and propose an efficient meta-lifelong framework that combines them in a synergistic fashion. To achieve sample efficiency, our method trains the model in a manner that it learns a better initialization for local adaptation. Extensive experiments on text classification and question answering benchmarks demonstrate the effectiveness of our framework by achieving state-of-the-art performance using merely 1% memory size and narrowing the gap with multi-task learning. We further show that our method alleviates both catastrophic forgetting and negative transfer at the same time.
• Abstract（参考訳）: 現在の自然言語処理モデルは、1つのタスクでうまく機能するが、生涯にわたって再訓練されていることを忘れずに、新しいタスクを継続的に学習するのに失敗することが多い。 最先端の言語学習手法は、過去の例をエピソディックメモリに保存し、トレーニングと推論の両方の時間に再生する。 しかし,実験の後半で示されたように,(1)非現実的に大きなメモリモジュールを必要とすること,(2)負の転送に苦しむこと,(3)推論速度を著しく遅くする各テスト例に対して複数の局所的な適応ステップを必要とすること,の3つの大きな障害がある。 本稿では,生涯学習手法の3つの共通原則を特定し,それらを相乗的手法で組み合わせた効率的なメタライフロングフレームワークを提案する。 サンプル効率を達成するために,本手法は局所適応のためのより良い初期化を学ぶようにモデルを訓練する。 テキスト分類と質問応答ベンチマークに関する広範な実験は、1%のメモリサイズで最先端のパフォーマンスを実現し、マルチタスク学習でギャップを狭めることで、このフレームワークの有効性を示しています。 さらに,本手法は破滅的忘れと負の移動を同時に緩和することを示した。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• How Relevant is Selective Memory Population in Lifelong Language Learning? [15.9310767099639]
  最先端のアプローチは、忘れることを防ぐ主要なアプローチとしてスパース体験のリプレイに依存している。 本研究は,テキスト分類と質問応答タスクの生涯学習過程において,選択記憶人口がどの程度関係があるかを検討する。
  論文  参考訳（メタデータ） (2022-10-03T13:52:54Z)
• Relational Experience Replay: Continual Learning by Adaptively Tuning Task-wise Relationship [54.73817402934303]
  本稿では,2段階の学習フレームワークである経験連続再生(ERR)を提案する。 ERRは、すべてのベースラインの性能を一貫して改善し、現在の最先端の手法を超えることができる。
  論文  参考訳（メタデータ） (2021-12-31T12:05:22Z)
• Learning to Prompt for Continual Learning [34.609384246149325]
  本研究は,テスト時にタスクの同一性にアクセスすることなく,より簡潔なメモリシステムのトレーニングを目的とした,連続学習のための新しいパラダイムを提案する。 本手法は,タスク遷移の異なるタスクを逐次学習するための事前学習モデル(L2P)を動的に学習する。 目的は、モデル予測を指示するプロンプトを最適化し、モデル可塑性を維持しながら、タスク不変およびタスク固有知識を明示的に管理することである。
  論文  参考訳（メタデータ） (2021-12-16T06:17:07Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning [61.29879000628815]
  知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。 本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。 様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
  論文  参考訳（メタデータ） (2021-10-06T09:10:10Z)
• Learning Invariant Representation for Continual Learning [5.979373021392084]
  継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。 連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。 共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
  論文  参考訳（メタデータ） (2021-01-15T15:12:51Z)
• Meta-Learning with Sparse Experience Replay for Lifelong Language Learning [26.296412053816233]
  本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。 本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
  論文  参考訳（メタデータ） (2020-09-10T14:36:38Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。