論文の概要: A Comprehensive Survey of Continual Learning: Theory, Method and
Application
- arxiv url: http://arxiv.org/abs/2302.00487v1
- Date: Tue, 31 Jan 2023 11:34:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-02 12:59:23.325687
- Title: A Comprehensive Survey of Continual Learning: Theory, Method and
Application
- Title(参考訳): 継続的学習に関する包括的調査:理論・方法・応用
- Authors: Liyuan Wang, Xingxing Zhang, Hang Su, Jun Zhu
- Abstract要約: 継続的学習は、AIシステムが適応的に開発するための基盤を提供する。
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
我々は最先端かつ精巧な分類学を提供し、代表的戦略が継続的学習にどう対処するかを広範囲に分析する。
- 参考スコア(独自算出の注目度): 48.57406628061121
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: To cope with real-world dynamics, an intelligent agent needs to incrementally
acquire, update, accumulate, and exploit knowledge throughout its lifetime.
This ability, known as continual learning, provides a foundation for AI systems
to develop themselves adaptively. In a general sense, continual learning is
explicitly limited by catastrophic forgetting, where learning a new task
usually results in a dramatic performance drop of the old tasks. Beyond this,
increasingly numerous advances have emerged in recent years that largely extend
the understanding and application of continual learning. The growing and
widespread interest in this direction demonstrates its realistic significance
as well as complexity. In this work, we present a comprehensive survey of
continual learning, seeking to bridge the basic settings, theoretical
foundations, representative methods, and practical applications. Based on
existing theoretical and empirical results, we summarize the general objectives
of continual learning as ensuring a proper stability-plasticity trade-off and
an adequate intra/inter-task generalizability in the context of resource
efficiency. Then we provide a state-of-the-art and elaborated taxonomy,
extensively analyzing how representative strategies address continual learning,
and how they are adapted to particular challenges in various applications.
Through an in-depth discussion of continual learning in terms of the current
trends, cross-directional prospects and interdisciplinary connections with
neuroscience, we believe that such a holistic perspective can greatly
facilitate subsequent exploration in this field and beyond.
- Abstract(参考訳): 現実世界のダイナミクスに対処するためには、インテリジェントエージェントはその生涯を通じてインクリメンタルに知識を取得し、更新し、蓄積し、活用する必要がある。
この能力は連続学習と呼ばれ、AIシステムが適応的に開発するための基盤を提供する。
一般的な意味では、連続学習は破滅的な放棄によって明示的に制限され、新しいタスクの学習は通常、古いタスクの劇的なパフォーマンス低下をもたらす。
この他にも、継続的な学習の理解と応用を大きく広げる多くの進歩が近年現れている。
この方向への関心の高まりは、その現実的な重要性と複雑さを示している。
本研究では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する総合的な調査を行う。
既存の理論的および実証的な結果に基づいて,連続学習の一般的な目的を,資源効率の文脈における適切な安定性・塑性トレードオフと適切なタスク内一般化可能性を保証するものとして要約する。
次に,最先端かつ精巧な分類法を提供し,代表的な戦略が継続的学習をどのように扱うか,それらがどのように様々な応用における特定の課題に適応するかを広範囲に分析する。
現在の傾向, 方向性, 神経科学との学際的関係の観点からの継続的な学習の深い議論を通じて, このような全体論的な視点は, この分野以降の探究を大いに促進できると信じている。
関連論文リスト
- Open-world Machine Learning: A Review and New Outlooks [88.62638732250427]
本稿では,新たなオープンワールド機械学習パラダイムを包括的に紹介することを目的としている。
研究者がそれぞれの分野でより強力なAIシステムを構築するのを支援し、人工知能の開発を促進することを目的としている。
論文 参考訳(メタデータ) (2024-03-04T06:25:26Z) - Evaluating and Improving Continual Learning in Spoken Language
Understanding [58.723320551761525]
本研究では,連続学習における安定性,可塑性,一般化性に関する統一的な評価手法を提案する。
提案手法を用いることで,SLUモデルのこれらの3つの特性の異なる側面を,様々な知識蒸留の導入によってどのように改善するかを実証する。
論文 参考訳(メタデータ) (2024-02-16T03:30:27Z) - Online Continual Knowledge Learning for Language Models [3.654507524092343]
大規模言語モデル(LLM)は、幅広い世界の知識のリポジトリとして機能し、質問応答やファクトチェックなどのタスクを実行できる。
オンライン連続知識学習(OCKL)は,実時間制約下での世界知識の動的性質を管理することを目的としている。
論文 参考訳(メタデータ) (2023-11-16T07:31:03Z) - A Definition of Continual Reinforcement Learning [69.56273766737527]
強化学習問題の標準的な見方では、エージェントの目標は、長期的な報酬を最大化するポリシーを効率的に識別することである。
継続的強化学習とは、最高のエージェントが決して学習をやめない状態を指す。
エージェントの分析とカタログ化のための新しい数学的言語を通じて「学習をやめることはない」エージェントの概念を定式化する。
論文 参考訳(メタデータ) (2023-07-20T17:28:01Z) - The Ideal Continual Learner: An Agent That Never Forgets [11.172382217477129]
連続学習の目的は、学習者に順次提示される複数の学習課題を解決するモデルを見つけることである。
この設定における重要な課題は、学習者が新しいタスクを学ぶ際に、前のタスクをどう解決するかを忘れることである。
本稿では,建設による破滅的な忘れ込みを避けるために,ICL(Ideal Continual Learner)と呼ばれる新たな連続学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-04-29T18:06:14Z) - Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。
本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。
我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文 参考訳(メタデータ) (2022-01-15T15:03:17Z) - Towards a theory of out-of-distribution learning [22.55793847392211]
我々は,学習者が与えられた問題に対してデータを活用することができる量を定量化するために,テキストバッファラーニング効率(LE)を導入する。
本稿では,このフレームワークが伝達,マルチタスク,メタ,継続,生涯学習を特徴付けるのにいかに汎用的であるかを示す。
論文 参考訳(メタデータ) (2021-09-29T15:35:16Z) - Importance Weighted Policy Learning and Adaptation [89.46467771037054]
政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。
このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。
提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
論文 参考訳(メタデータ) (2020-09-10T14:16:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。