論文の概要: The Ideal Continual Learner: An Agent That Never Forgets
- arxiv url: http://arxiv.org/abs/2305.00316v2
- Date: Thu, 8 Jun 2023 03:39:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 19:02:16.062318
- Title: The Ideal Continual Learner: An Agent That Never Forgets
- Title(参考訳): 理想的な連続学習者:決して忘れないエージェント
- Authors: Liangzu Peng, Paris V. Giampouras, Ren\'e Vidal
- Abstract要約: 連続学習の目的は、学習者に順次提示される複数の学習課題を解決するモデルを見つけることである。
この設定における重要な課題は、学習者が新しいタスクを学ぶ際に、前のタスクをどう解決するかを忘れることである。
本稿では,建設による破滅的な忘れ込みを避けるために,ICL(Ideal Continual Learner)と呼ばれる新たな連続学習フレームワークを提案する。
- 参考スコア(独自算出の注目度): 11.172382217477129
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The goal of continual learning is to find a model that solves multiple
learning tasks which are presented sequentially to the learner. A key challenge
in this setting is that the learner may forget how to solve a previous task
when learning a new task, a phenomenon known as catastrophic forgetting. To
address this challenge, many practical methods have been proposed, including
memory-based, regularization-based, and expansion-based methods. However, a
rigorous theoretical understanding of these methods remains elusive. This paper
aims to bridge this gap between theory and practice by proposing a new
continual learning framework called Ideal Continual Learner (ICL), which is
guaranteed to avoid catastrophic forgetting by construction. We show that ICL
unifies multiple well-established continual learning methods and gives new
theoretical insights into the strengths and weaknesses of these methods. We
also derive generalization bounds for ICL which allow us to theoretically
quantify how rehearsal affects generalization. Finally, we connect ICL to
several classic subjects and research topics of modern interest, which allows
us to make historical remarks and inspire future directions.
- Abstract(参考訳): 連続学習の目的は、学習者に順次提示される複数の学習課題を解決するモデルを見つけることである。
この設定における重要な課題は、新しいタスクを学ぶとき、学習者が前のタスクの解き方を忘れてしまう可能性があることである。
この課題に対処するために,メモリベース,正規化ベース,拡張ベースなど,多くの実用的な手法が提案されている。
しかし、これらの手法の厳密な理論的理解はいまだ解明されていない。
本稿では,この理論と実践のギャップを埋めるために,建設による破滅的忘れ去を回避できるideal continual learninger(icl)と呼ばれる新しい連続学習フレームワークを提案する。
ICLは複数の確立された連続学習手法を統合し、これらの手法の強みと弱みに関する新たな理論的知見を提供する。
また、リハーサルが一般化にどのように影響するかを理論的に定量化できるiclの一般化境界も導出する。
最後に、ICLをいくつかの古典的主題と近代的関心の研究トピックに結びつけることで、歴史的発言をし、今後の方向性を刺激することができる。
関連論文リスト
- A Definition of Continual Reinforcement Learning [69.56273766737527]
強化学習問題の標準的な見方では、エージェントの目標は、長期的な報酬を最大化するポリシーを効率的に識別することである。
継続的強化学習とは、最高のエージェントが決して学習をやめない状態を指す。
エージェントの分析とカタログ化のための新しい数学的言語を通じて「学習をやめることはない」エージェントの概念を定式化する。
論文 参考訳(メタデータ) (2023-07-20T17:28:01Z) - Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery [76.35226130521758]
我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
論文 参考訳(メタデータ) (2023-03-28T13:47:16Z) - Online Continual Learning via the Knowledge Invariant and Spread-out
Properties [4.109784267309124]
継続的な学習の鍵となる課題は破滅的な忘れ方だ。
知識不変性とスプレッドアウト特性(OCLKISP)を用いたオンライン連続学習法を提案する。
提案手法を,CIFAR 100, Split SVHN, Split CUB200, Split Tiny-Image-Netの4つのベンチマークで実証的に評価した。
論文 参考訳(メタデータ) (2023-02-02T04:03:38Z) - A Comprehensive Survey of Continual Learning: Theory, Method and
Application [64.23253420555989]
本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。
連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
論文 参考訳(メタデータ) (2023-01-31T11:34:56Z) - Hierarchically Structured Task-Agnostic Continual Learning [0.0]
本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。
我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。
既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
論文 参考訳(メタデータ) (2022-11-14T19:53:15Z) - Importance Weighted Policy Learning and Adaptation [89.46467771037054]
政治外学習の最近の進歩の上に構築された,概念的にシンプルで,汎用的で,モジュール的な補完的アプローチについて検討する。
このフレームワークは確率論的推論文学のアイデアにインスパイアされ、堅牢な非政治学習と事前の行動を組み合わせる。
提案手法は,メタ強化学習ベースラインと比較して,ホールドアウトタスクにおける競合適応性能を実現し,複雑なスパース・リワードシナリオにスケールすることができる。
論文 参考訳(メタデータ) (2020-09-10T14:16:58Z) - Probably Approximately Correct Constrained Learning [135.48447120228658]
我々は、ほぼ正しい学習フレームワーク(PAC)に基づく一般化理論を開発する。
PAC学習可能なクラスも制約のある学習者であるという意味では,学習者の導入は学習問題を難しくするものではないことを示す。
このソリューションの特性を分析し,制約付き学習が公平でロバストな分類における問題にどのように対処できるかを説明する。
論文 参考訳(メタデータ) (2020-06-09T19:59:29Z) - Curriculum Learning for Reinforcement Learning Domains: A Framework and
Survey [53.73359052511171]
強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。
本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
論文 参考訳(メタデータ) (2020-03-10T20:41:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。