論文の概要: How Relevant is Selective Memory Population in Lifelong Language Learning?

• arxiv url: http://arxiv.org/abs/2210.00940v1
• Date: Mon, 3 Oct 2022 13:52:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 13:02:14.781816
• Title: How Relevant is Selective Memory Population in Lifelong Language Learning?
• Title（参考訳）: 生涯言語学習における選択的記憶人口の関連性
• Authors: Vladimir Araujo, Helena Balabin, Julio Hurtado, Alvaro Soto, Marie-Francine Moens
• Abstract要約: 最先端のアプローチは、忘れることを防ぐ主要なアプローチとしてスパース体験のリプレイに依存している。 本研究は,テキスト分類と質問応答タスクの生涯学習過程において,選択記憶人口がどの程度関係があるかを検討する。
• 参考スコア（独自算出の注目度）: 15.9310767099639
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lifelong language learning seeks to have models continuously learn multiple tasks in a sequential order without suffering from catastrophic forgetting. State-of-the-art approaches rely on sparse experience replay as the primary approach to prevent forgetting. Experience replay usually adopts sampling methods for the memory population; however, the effect of the chosen sampling strategy on model performance has not yet been studied. In this paper, we investigate how relevant the selective memory population is in the lifelong learning process of text classification and question-answering tasks. We found that methods that randomly store a uniform number of samples from the entire data stream lead to high performances, especially for low memory size, which is consistent with computer vision studies.
• Abstract（参考訳）: 生涯の言語学習は、破滅的な忘れに苦しむことなく、連続して複数のタスクを連続的に学習させることを目指している。 最先端のアプローチは、忘れることを防ぐ主要なアプローチとしてスパース体験のリプレイに依存している。 経験リプレイは通常、メモリ人口に対するサンプリング手法を採用するが、選択されたサンプリング戦略がモデル性能に与える影響はまだ研究されていない。 本稿では,テキスト分類と質問応答課題の生涯学習過程における選択的記憶人口の関連性について検討する。 データストリーム全体から一様数のサンプルをランダムに格納する手法は、特に低メモリサイズにおいて高い性能をもたらし、コンピュータビジョンの研究と一致することが判明した。

関連論文リスト

• Cache & Distil: Optimising API Calls to Large Language Models [82.32065572907125]
  ジェネレーティブAIツールの大規模デプロイは、ユーザクエリをフルフィルするために、LLM(Large Language Model)に対する高価なAPI呼び出しに依存することが多い。 これらの呼び出しの頻度を縮めるために、より小さな言語モデル(学生)を用いることができる。 この学生は、ユーザー要求の増加に独立して対処する能力が徐々に向上する。
  論文  参考訳（メタデータ） (2023-10-20T15:01:55Z)
• Improving Replay Sample Selection and Storage for Less Forgetting in Continual Learning [1.2891210250935146]
  継続的な学習は、深層学習者が過去のタスクの破滅的な忘れ込みに悩まされることなく、未知の長さの一連のタスクを訓練できるようにすることを目的としている。 1つの効果的な解決策はリプレイであり、メモリにほとんど過去の経験を保存し、現在のタスクを学習する際にそれらをリプレイする。 本研究は, 一般的な貯水池サンプリングと, 様々な代替集団戦略との比較により, これらの課題に対処することを目的としている。
  論文  参考訳（メタデータ） (2023-08-03T17:46:27Z)
• Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue [80.05509768165135]
  生成的再生法は、過去の知識と生成された擬似サンプルを統合するために広く用いられている。 既存の生成的再生法の多くは、モデルを制御するために単一のタスク固有のトークンのみを使用する。 本稿では,タスクの統計を取り入れて生成的再生を向上させるために,生涯学習のための新しい条件付きVAEを提案する。
  論文  参考訳（メタデータ） (2022-10-14T13:12:14Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Memory Population in Continual Learning via Outlier Elimination [25.511380924335207]
  破滅的な忘れは、新しいタスクを学ぶ際に学習したタスクを忘れる現象であり、継続的な学習アルゴリズムを開発する上で大きなハードルとなる。 忘れを緩和する一般的な方法は、新しいタスクのトレーニングで使用する前に学習したタスク例のサブセットを格納するメモリバッファを使用することである。 本稿では,ラベル同種サブポピュレーションからサンプルを選択することにより,メモリバッファ内の外れ値の識別と除去を行うメモリ・アウトレイラ除去法(MOE)を提案する。
  論文  参考訳（メタデータ） (2022-07-04T00:09:33Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Memory Efficient Continual Learning for Neural Text Classification [10.70710638820641]
  そこで本研究では,事前学習モデルを用いてテキスト分類を行う手法を提案する。 実験により,本手法では,他の手法と比較して,モデルパラメータが著しく少ないことが実証された。 我々の手法はほとんど忘れられませんが、予測性能は技術水準と同等に保たれますが、メモリ効率は低いです。
  論文  参考訳（メタデータ） (2022-03-09T10:57:59Z)
• Towards Lifelong Learning of Multilingual Text-To-Speech Synthesis [87.75833205560406]
  本研究は,多言語テキスト音声(TTS)システムを学習するための生涯学習手法を提案する。 すべての言語からプールされたデータを必要としないため、ストレージと計算の負担が軽減される。
  論文  参考訳（メタデータ） (2021-10-09T07:00:38Z)
• Efficient Meta Lifelong-Learning with Limited Memory [10.877225692975886]
  最先端の生涯言語学習手法は、過去の例をエピソード記憶に保存し、トレーニング時間と推論時間の両方で再生する。 本稿では,生涯学習手法の3つの共通原則を特定し,それらを相乗的手法で組み合わせた効率的なメタライフロングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-06T06:08:07Z)
• Meta-Learning with Sparse Experience Replay for Lifelong Language Learning [26.296412053816233]
  本稿では,スパース体験を再現したメタラーニングに基づく言語タスクの生涯学習のための新しいアプローチを提案する。 本研究では,タスクのストリーム上で1回のパスを実行するという現実的な設定の下で,生涯のテキスト分類と関係抽出に関する最先端結果を得る。
  論文  参考訳（メタデータ） (2020-09-10T14:36:38Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。