論文の概要: The Ideal Continual Learner: An Agent That Never Forgets

• arxiv url: http://arxiv.org/abs/2305.00316v2
• Date: Thu, 8 Jun 2023 03:39:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 19:02:16.062318
• Title: The Ideal Continual Learner: An Agent That Never Forgets
• Title（参考訳）: 理想的な連続学習者:決して忘れないエージェント
• Authors: Liangzu Peng, Paris V. Giampouras, Ren\'e Vidal
• Abstract要約: 連続学習の目的は、学習者に順次提示される複数の学習課題を解決するモデルを見つけることである。 この設定における重要な課題は、学習者が新しいタスクを学ぶ際に、前のタスクをどう解決するかを忘れることである。 本稿では,建設による破滅的な忘れ込みを避けるために,ICL(Ideal Continual Learner)と呼ばれる新たな連続学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 11.172382217477129
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The goal of continual learning is to find a model that solves multiple learning tasks which are presented sequentially to the learner. A key challenge in this setting is that the learner may forget how to solve a previous task when learning a new task, a phenomenon known as catastrophic forgetting. To address this challenge, many practical methods have been proposed, including memory-based, regularization-based, and expansion-based methods. However, a rigorous theoretical understanding of these methods remains elusive. This paper aims to bridge this gap between theory and practice by proposing a new continual learning framework called Ideal Continual Learner (ICL), which is guaranteed to avoid catastrophic forgetting by construction. We show that ICL unifies multiple well-established continual learning methods and gives new theoretical insights into the strengths and weaknesses of these methods. We also derive generalization bounds for ICL which allow us to theoretically quantify how rehearsal affects generalization. Finally, we connect ICL to several classic subjects and research topics of modern interest, which allows us to make historical remarks and inspire future directions.
• Abstract（参考訳）: 連続学習の目的は、学習者に順次提示される複数の学習課題を解決するモデルを見つけることである。 この設定における重要な課題は、新しいタスクを学ぶとき、学習者が前のタスクの解き方を忘れてしまう可能性があることである。 この課題に対処するために,メモリベース,正規化ベース,拡張ベースなど,多くの実用的な手法が提案されている。 しかし、これらの手法の厳密な理論的理解はいまだ解明されていない。 本稿では,この理論と実践のギャップを埋めるために,建設による破滅的忘れ去を回避できるideal continual learninger(icl)と呼ばれる新しい連続学習フレームワークを提案する。 ICLは複数の確立された連続学習手法を統合し、これらの手法の強みと弱みに関する新たな理論的知見を提供する。 また、リハーサルが一般化にどのように影響するかを理論的に定量化できるiclの一般化境界も導出する。 最後に、ICLをいくつかの古典的主題と近代的関心の研究トピックに結びつけることで、歴史的発言をし、今後の方向性を刺激することができる。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• ICL-TSVD: Bridging Theory and Practice in Continual Learning with Pre-trained Models [103.45785408116146]
  連続学習(CL)は、連続的に提示される複数のタスクを解決できるモデルを訓練することを目的としている。 最近のCLアプローチは、ダウンストリームタスクをうまく一般化する大規模な事前学習モデルを活用することで、強力なパフォーマンスを実現している。 しかし、これらの手法には理論的保証がなく、予期せぬ失敗をしがちである。 私たちは、経験的に強いアプローチを原則化されたフレームワークに統合することで、このギャップを埋めます。
  論文  参考訳（メタデータ） (2024-10-01T12:58:37Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• A Comprehensive Survey of Continual Learning: Theory, Method and Application [64.23253420555989]
  本稿では,基礎的設定,理論的基礎,代表的方法,実践的応用を橋渡しする継続的学習に関する包括的調査を行う。 連続学習の一般的な目的は、資源効率の文脈において、適切な安定性と塑性のトレードオフと適切なタスク内/タスク内一般化性を保証することであると要約する。
  論文  参考訳（メタデータ） (2023-01-31T11:34:56Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Towards a theory of out-of-distribution learning [23.878004729029644]
  本稿では,PAC学習フレームワークを用いて,異なる学習課題を定義するための時系列的アプローチを提案する。 まずは流通学習から始め、最近提案された生涯学習や継続学習へと進む。 この研究によって、さまざまなタイプの学習を定量化する、普遍的に合意されたアプローチがもたらされることを期待しています。
  論文  参考訳（メタデータ） (2021-09-29T15:35:16Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。