論文の概要: Continual Lifelong Learning in Natural Language Processing: A Survey

• arxiv url: http://arxiv.org/abs/2012.09823v1
• Date: Thu, 17 Dec 2020 18:44:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 07:42:34.788614
• Title: Continual Lifelong Learning in Natural Language Processing: A Survey
• Title（参考訳）: 自然言語処理における持続的生涯学習 : 調査
• Authors: Magdalena Biesialska and Katarzyna Biesialska and Marta R. Costa-juss\`a
• Abstract要約: 連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。 既存のディープラーニングアーキテクチャでは、以前獲得した知識をほとんど忘れずに新しいタスクを学習することは困難である。 我々は様々なnlpタスクのレンズを通してclの問題を検討する。
• 参考スコア（独自算出の注目度）: 3.9103337761169943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to enable information systems to learn from a continuous data stream across time. However, it is difficult for existing deep learning architectures to learn a new task without largely forgetting previously acquired knowledge. Furthermore, CL is particularly challenging for language learning, as natural language is ambiguous: it is discrete, compositional, and its meaning is context-dependent. In this work, we look at the problem of CL through the lens of various NLP tasks. Our survey discusses major challenges in CL and current methods applied in neural network models. We also provide a critical review of the existing CL evaluation methods and datasets in NLP. Finally, we present our outlook on future research directions.
• Abstract（参考訳）: 連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。 しかし,既存のディープラーニングアーキテクチャでは,従来の知識を忘れずに新しいタスクを学習することは困難である。 さらに、CLは言語学習において特に困難であり、自然言語は曖昧である:それは離散的で構成的であり、その意味は文脈に依存している。 本研究では,様々なNLPタスクのレンズを通してCLの問題を考察する。 本調査では,CLにおける主な課題とニューラルネットワークモデルに適用された現在の手法について論じる。 また,NLPにおける既存のCL評価手法とデータセットの批判的レビューを行う。 最後に,今後の研究方向性について概観する。

関連論文リスト

• CLEO: Continual Learning of Evolving Ontologies [12.18795037817058]
  継続的な学習(CL)は、知的システムに人間の生涯学習を浸透させることを目的としている。 一般的な学習プロセスは、学習情報だけでなく、既存の情報の洗練にも限界がある。 CLEOは、時間とともに現実の変化に適応するインテリジェントなシステムの必要性によって動機付けられている。
  論文  参考訳（メタデータ） (2024-07-11T11:32:33Z)
• Recent Advances of Foundation Language Models-based Continual Learning: A Survey [31.171203978742447]
  基礎言語モデル (LM) は自然言語処理 (NLP) とコンピュータビジョン (CV) の分野において重要な成果を上げている。 しかし、破滅的な忘れ物のため、人間のような継続的学習をエミュレートすることはできない。 従来の知識を忘れずに新しいタスクに適応できるように、様々な連続学習(CL)ベースの方法論が開発されている。
  論文  参考訳（メタデータ） (2024-05-28T23:32:46Z)
• CITB: A Benchmark for Continual Instruction Tuning [44.40322919392584]
  連続学習(英: Continual Learning, CL)は、人間の学習能力を再現し、継続的に知識を蓄積することを目的としたパラダイムである。 近年のインストラクションチューニング (IT) では, NLP タスクの解法に適応しやすくするための微調整モデルが提案されている。 各種CL手法を体系的に研究するための学習プロトコルと評価プロトコルからなるベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-10-23T02:42:32Z)
• POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
  継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。 POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-14T02:09:26Z)
• A Survey on In-context Learning [77.78614055956365]
  In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。 まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。 次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
  論文  参考訳（メタデータ） (2022-12-31T15:57:09Z)
• Continual Learning of Natural Language Processing Tasks: A Survey [19.126212040944022]
  継続学習(英: Continual Learning, CL)とは、学習した知識を忘れることなく、学習と知識の蓄積の人間的能力をエミュレートする学習パラダイムである。 本調査は,コンピュータビジョンと機械学習におけるCLとの大きな違いがあるNLPにおけるCLの最近の進歩に関する総合的なレビューと分析を行う。
  論文  参考訳（メタデータ） (2022-11-23T04:46:28Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
  本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。 この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:51:52Z)
• A Survey on Curriculum Learning [48.36129047271622]
  Curriculum Learning(CL)は、より簡単なデータからより難しいデータまで、マシンラーニングモデルをトレーニングするトレーニング戦略である。 CL戦略は、使い易いプラグインとして、様々なモデルの一般化能力と収束率を改善する能力を示した。
  論文  参考訳（メタデータ） (2020-10-25T17:15:04Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。