論文の概要: Continual Lifelong Learning in Natural Language Processing: A Survey
- arxiv url: http://arxiv.org/abs/2012.09823v1
- Date: Thu, 17 Dec 2020 18:44:36 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-02 07:42:34.788614
- Title: Continual Lifelong Learning in Natural Language Processing: A Survey
- Title(参考訳): 自然言語処理における持続的生涯学習 : 調査
- Authors: Magdalena Biesialska and Katarzyna Biesialska and Marta R.
Costa-juss\`a
- Abstract要約: 連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。
既存のディープラーニングアーキテクチャでは、以前獲得した知識をほとんど忘れずに新しいタスクを学習することは困難である。
我々は様々なnlpタスクのレンズを通してclの問題を検討する。
- 参考スコア(独自算出の注目度): 3.9103337761169943
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning (CL) aims to enable information systems to learn from a
continuous data stream across time. However, it is difficult for existing deep
learning architectures to learn a new task without largely forgetting
previously acquired knowledge. Furthermore, CL is particularly challenging for
language learning, as natural language is ambiguous: it is discrete,
compositional, and its meaning is context-dependent. In this work, we look at
the problem of CL through the lens of various NLP tasks. Our survey discusses
major challenges in CL and current methods applied in neural network models. We
also provide a critical review of the existing CL evaluation methods and
datasets in NLP. Finally, we present our outlook on future research directions.
- Abstract(参考訳): 連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。
しかし,既存のディープラーニングアーキテクチャでは,従来の知識を忘れずに新しいタスクを学習することは困難である。
さらに、CLは言語学習において特に困難であり、自然言語は曖昧である:それは離散的で構成的であり、その意味は文脈に依存している。
本研究では,様々なNLPタスクのレンズを通してCLの問題を考察する。
本調査では,CLにおける主な課題とニューラルネットワークモデルに適用された現在の手法について論じる。
また,NLPにおける既存のCL評価手法とデータセットの批判的レビューを行う。
最後に,今後の研究方向性について概観する。
関連論文リスト
- CITB: A Benchmark for Continual Instruction Tuning [44.40322919392584]
連続学習(英: Continual Learning, CL)は、人間の学習能力を再現し、継続的に知識を蓄積することを目的としたパラダイムである。
近年のインストラクションチューニング (IT) では, NLP タスクの解法に適応しやすくするための微調整モデルが提案されている。
各種CL手法を体系的に研究するための学習プロトコルと評価プロトコルからなるベンチマークを構築した。
論文 参考訳(メタデータ) (2023-10-23T02:42:32Z) - POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-14T02:09:26Z) - A Survey on In-context Learning [56.40261564926631]
In-context Learning (ICL)は自然言語処理のための新しいパラダイムである
まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。
そこで我々は,訓練戦略,実証設計戦略,関連する分析など,高度な手法を整理し,議論する。
論文 参考訳(メタデータ) (2022-12-31T15:57:09Z) - Continual Learning of Natural Language Processing Tasks: A Survey [19.126212040944022]
継続学習(英: Continual Learning, CL)とは、学習した知識を忘れることなく、学習と知識の蓄積の人間的能力をエミュレートする学習パラダイムである。
本調査は,コンピュータビジョンと機械学習におけるCLとの大きな違いがあるNLPにおけるCLの最近の進歩に関する総合的なレビューと分析を行う。
論文 参考訳(メタデータ) (2022-11-23T04:46:28Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳(メタデータ) (2022-08-30T14:44:41Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z) - Effects of Auxiliary Knowledge on Continual Learning [16.84113206569365]
連続学習(CL)では、ニューラルネットワークは、時間とともに分布が変化するデータのストリームに基づいて訓練される。
既存のCLアプローチのほとんどは、獲得した知識を保存するソリューションを見つけることに重点を置いている。
モデルが新しいタスクを継続的に学習する必要があるため、タスク学習の後に改善する可能性のある現在の知識に焦点を合わせることも重要である、と我々は主張する。
論文 参考訳(メタデータ) (2022-06-03T14:31:59Z) - A Survey on Curriculum Learning [48.36129047271622]
Curriculum Learning(CL)は、より簡単なデータからより難しいデータまで、マシンラーニングモデルをトレーニングするトレーニング戦略である。
CL戦略は、使い易いプラグインとして、様々なモデルの一般化能力と収束率を改善する能力を示した。
論文 参考訳(メタデータ) (2020-10-25T17:15:04Z) - Curriculum Learning for Reinforcement Learning Domains: A Framework and
Survey [53.73359052511171]
強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。
本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
論文 参考訳(メタデータ) (2020-03-10T20:41:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。