Fugu-MT 論文翻訳(概要): Continual Learning of Natural Language Processing Tasks: A Survey

論文の概要: Continual Learning of Natural Language Processing Tasks: A Survey

arxiv url: http://arxiv.org/abs/2211.12701v1
Date: Wed, 23 Nov 2022 04:46:28 GMT
ステータス: 処理完了
システム内更新日: 2022-11-24 13:28:01.965252
Title: Continual Learning of Natural Language Processing Tasks: A Survey
Title（参考訳）: 自然言語処理課題の継続的な学習 : 調査
Authors: Zixuan Ke, Bing Liu
Abstract要約: CL(Continuous Learning)は、学習した知識を忘れることなく、学習と知識を継続的に蓄積する人間の能力をエミュレートすることを目的とした、新たな学習パラダイムである。本調査は,最近のNLP分野におけるCLの進歩を概観するものである。
参考スコア（独自算出の注目度）: 19.126212040944022
License: http://creativecommons.org/publicdomain/zero/1.0/
Abstract: Continual learning (CL) is an emerging learning paradigm that aims to emulate the human capability of learning and accumulating knowledge continually without forgetting the previously learned knowledge and also transferring the knowledge to new tasks to learn them better. This survey presents a comprehensive review of the recent progress of CL in the NLP field. It covers (1) all CL settings with a taxonomy of existing techniques. Besides dealing with forgetting, it also focuses on (2) knowledge transfer, which is of particular importance to NLP. Both (1) and (2) are not mentioned in the existing survey. Finally, a list of future directions is also discussed.
Abstract（参考訳）: CL(Continuous Learning)は、学習した知識を忘れることなく、学習と知識を継続的に蓄積する人間の能力をエミュレートすることを目的とした、新たな学習パラダイムである。本調査では,最近のNLP分野におけるCLの進歩を概観する。 1)すべてのCL設定を既存のテクニックの分類でカバーしている。忘れの扱いに加えて、NLPにとって特に重要な(2)知識の伝達にも焦点をあてている。 1) と (2) の両方が既存の調査には言及されていない。最後に,今後の方向性についても述べる。

関連論文リスト

CLEO: Continual Learning of Evolving Ontologies [12.18795037817058]
継続的な学習(CL)は、知的システムに人間の生涯学習を浸透させることを目的としている。一般的な学習プロセスは、学習情報だけでなく、既存の情報の洗練にも限界がある。 CLEOは、時間とともに現実の変化に適応するインテリジェントなシステムの必要性によって動機付けられている。
論文参考訳（メタデータ） (2024-07-11T11:32:33Z)
Continual Learning of Large Language Models: A Comprehensive Survey [18.546766135948154]
静的、コンパイル済み、一般的なデータセットに基づいてトレーニングされた大規模言語モデル(LLMs)は、多くの研究方向や応用を引き起こしている。そのような方向の1つは、トレーニング済みのLLMを動的データ分散、タスク構造、ユーザの好みに組み込むという、簡単ではない課題に対処する。 CL(Continuous Learning)コミュニティで広く研究されているが、LSMの領域では新たなマニフェストが提示されている。
論文参考訳（メタデータ） (2024-04-25T17:38:57Z)
Active Continual Learning: On Balancing Knowledge Retention and Learnability [43.6658577908349]
一連のタスクで学んだことを忘れずに新しい知識を取得することは、継続学習(CL)の中心的焦点である。本稿では, 能動連続学習(ACL)の課題の列における未探索問題について考察する。ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。
論文参考訳（メタデータ） (2023-05-06T04:11:03Z)
A Survey of Knowledge Enhanced Pre-trained Language Models [78.56931125512295]
我々は、知識強化事前学習言語モデル(KE-PLMs)の包括的なレビューを行う。 NLUでは、言語知識、テキスト知識、知識グラフ(KG)、ルール知識の4つのカテゴリに分類する。 NLGのKE-PLMは、KGベースと検索ベースに分類される。
論文参考訳（メタデータ） (2022-11-11T04:29:02Z)
Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文参考訳（メタデータ） (2022-08-30T14:44:41Z)
Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文参考訳（メタデータ） (2021-09-10T07:20:43Z)
Continual Lifelong Learning in Natural Language Processing: A Survey [3.9103337761169943]
連続学習(continual learning, cl)は,情報システムが時間を越えた連続的なデータストリームから学ぶことを可能にする。既存のディープラーニングアーキテクチャでは、以前獲得した知識をほとんど忘れずに新しいタスクを学習することは困難である。我々は様々なnlpタスクのレンズを通してclの問題を検討する。
論文参考訳（メタデータ） (2020-12-17T18:44:36Z)
A Survey on Curriculum Learning [48.36129047271622]
Curriculum Learning(CL)は、より簡単なデータからより難しいデータまで、マシンラーニングモデルをトレーニングするトレーニング戦略である。 CL戦略は、使い易いプラグインとして、様々なモデルの一般化能力と収束率を改善する能力を示した。
論文参考訳（メタデータ） (2020-10-25T17:15:04Z)
Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文参考訳（メタデータ） (2020-07-30T16:00:23Z)
Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
論文参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。