論文の概要: Meta-Learning with Sparse Experience Replay for Lifelong Language Learning

• arxiv url: http://arxiv.org/abs/2009.04891v2
• Date: Sun, 25 Jul 2021 16:07:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-20 02:43:19.949558
• Title: Meta-Learning with Sparse Experience Replay for Lifelong Language Learning
• Title（参考訳）: sparse experience replayを用いた生涯言語学習のためのメタラーニング
• Authors: Nithin Holla, Pushkar Mishra, Helen Yannakoudakis, Ekaterina Shutova
• Abstract要約: 本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。 本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
• 参考スコア（独自算出の注目度）: 26.296412053816233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong learning requires models that can continuously learn from sequential streams of data without suffering catastrophic forgetting due to shifts in data distributions. Deep learning models have thrived in the non-sequential learning paradigm; however, when used to learn a sequence of tasks, they fail to retain past knowledge and learn incrementally. We propose a novel approach to lifelong learning of language tasks based on meta-learning with sparse experience replay that directly optimizes to prevent forgetting. We show that under the realistic setting of performing a single pass on a stream of tasks and without any task identifiers, our method obtains state-of-the-art results on lifelong text classification and relation extraction. We analyze the effectiveness of our approach and further demonstrate its low computational and space complexity.
• Abstract（参考訳）: 生涯学習には、データ分散の変化による破滅的な忘れ込みに苦しむことなく、シーケンシャルなデータストリームから継続的に学習できるモデルが必要である。 ディープラーニングモデルは、非シーケンシャルな学習パラダイムの中で成長してきたが、タスクのシーケンスを学習する際には、過去の知識を保持して徐々に学習することができない。 本稿では,言語タスクを生涯学習するための新しいアプローチとして,スパース・エクスペリエンス・リプレイを用いたメタラーニングを提案する。 本研究では,タスクのストリーム上で1回のパスを実行し,タスク識別子を一切持たない現実的な設定で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。 提案手法の有効性を解析し,その計算量および空間の複雑さの低減を実証する。

関連論文リスト

• Learning to Learn for Few-shot Continual Active Learning [9.283518682371756]
  継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。 連続学習の最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。 我々はメタラーニングを活用し,メタコンチネンタルアクティブラーニングと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T05:22:11Z)
• VERSE: Virtual-Gradient Aware Streaming Lifelong Learning with Anytime Inference [36.61783715563126]
  生涯学習をストリーミングすることは、忘れずに継続的な学習を目標とすることで、生涯学習の挑戦的な設定である。 ストリーミング(学習例は1回に1回のみ)である生涯学習に新たなアプローチを導入する。 本稿では,各新しい例に適応し,過去のデータにも順応し,破滅的な忘れ込みを防止できる新しいエンフェクチュアル勾配に基づく連続表現学習手法を提案する。
  論文  参考訳（メタデータ） (2023-09-15T07:54:49Z)
• Semi-Supervised Lifelong Language Learning [81.0685290973989]
  ラベル付きデータとラベルなしデータの両方を用いて、モデルが逐次到着する言語タスクを学習する、新しい半教師付き生涯言語学習(SSLL)について検討する。 特に、破滅的な忘れを軽減し、ラベルのないデータを活用するために2つのモジュールを設計するために、タスク固有のモジュールに特化しています。 各種言語課題に対する実験結果から,本モデルの有効性と,競争的ベースラインよりも優越性を示す。
  論文  参考訳（メタデータ） (2022-11-23T15:51:33Z)
• Learning and Retrieval from Prior Data for Skill-based Imitation Learning [47.59794569496233]
  従来のデータから時間的に拡張された感触者スキルを抽出する,スキルベースの模倣学習フレームワークを開発した。 新規タスクの性能を著しく向上させる重要な設計選択をいくつか挙げる。
  論文  参考訳（メタデータ） (2022-10-20T17:34:59Z)
• Lifelong Learning from Event-based Data [22.65311698505554]
  イベントカメラが生成したデータから学習する方法を検討する。 特徴抽出と連続学習の両方からなるモデルを提案する。
  論文  参考訳（メタデータ） (2021-11-11T17:59:41Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。