論文の概要: Continual Learning: Applications and the Road Forward

• arxiv url: http://arxiv.org/abs/2311.11908v3
• Date: Thu, 28 Mar 2024 13:16:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-29 21:22:07.768705
• Title: Continual Learning: Applications and the Road Forward
• Title（参考訳）: 継続的な学習 - 応用と道のり
• Authors: Eli Verwimp, Rahaf Aljundi, Shai Ben-David, Matthias Bethge, Andrea Cossu, Alexander Gepperth, Tyler L. Hayes, Eyke Hüllermeier, Christopher Kanan, Dhireesha Kudithipudi, Christoph H. Lampert, Martin Mundt, Razvan Pascanu, Adrian Popescu, Andreas S. Tolias, Joost van de Weijer, Bing Liu, Vincenzo Lomonaco, Tinne Tuytelaars, Gido M. van de Ven,
• Abstract要約: 継続的学習は、機械学習モデルが、過去に学んだことを忘れずに知識を蓄積することで、新しいデータを継続的に学習できるようにすることを目的としている。 この研究は、2023年3月のDagtuhl Seminar on Deep Continual Learningで著者らが行った多くの議論の結果である。
• 参考スコア（独自算出の注目度）: 119.03464063873407
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is a subfield of machine learning, which aims to allow machine learning models to continuously learn on new data, by accumulating knowledge without forgetting what was learned in the past. In this work, we take a step back, and ask: "Why should one care about continual learning in the first place?". We set the stage by examining recent continual learning papers published at four major machine learning conferences, and show that memory-constrained settings dominate the field. Then, we discuss five open problems in machine learning, and even though they might seem unrelated to continual learning at first sight, we show that continual learning will inevitably be part of their solution. These problems are model editing, personalization and specialization, on-device learning, faster (re-)training and reinforcement learning. Finally, by comparing the desiderata from these unsolved problems and the current assumptions in continual learning, we highlight and discuss four future directions for continual learning research. We hope that this work offers an interesting perspective on the future of continual learning, while displaying its potential value and the paths we have to pursue in order to make it successful. This work is the result of the many discussions the authors had at the Dagstuhl seminar on Deep Continual Learning, in March 2023.
• Abstract（参考訳）: 機械学習は機械学習のサブフィールドであり、過去の学習を忘れずに知識を蓄積することで、機械学習モデルが新しいデータを継続的に学習できるようにすることを目的としている。 この作業では、一歩後退して、"そもそも何故継続的な学習を気にすべきなのか"と尋ねます。 我々は,4つの主要な機械学習カンファレンスで発行された最近の連続的な学習論文を検証し,記憶に制約のある設定がこの分野を支配していることを示す。 そして、機械学習における5つのオープンな問題について議論し、それらは一見して連続的な学習とは無関係に思えるかもしれないが、連続的な学習が必然的に彼らのソリューションの一部であることを示す。 これらの問題は、モデル編集、パーソナライゼーションと特殊化、デバイス上での学習、高速(再)トレーニング、強化学習である。 最後に、これらの未解決問題と継続学習における現在の仮定とを比較して、継続学習研究の4つの方向性を強調し、議論する。 この研究は、その潜在的な価値と、それを成功させるために追求しなければならないパスを示しながら、継続的な学習の将来に関する興味深い視点を提供することを期待しています。 この研究は、2023年3月のDagtuhl Seminar on Deep Continual Learningで著者らが行った多くの議論の結果である。

関連論文リスト

• Continual Learning and Catastrophic Forgetting [4.6159105670682194]
  この章は、非定常的なデータストリームから漸進的に学習するプロセスである継続的学習のダイナミクスを掘り下げている。 重要な理由は、何か新しいことを学ぶとき、これらのネットワークは、彼らが以前に学んだことを素早く、そして劇的に忘れてしまう傾向があることです。
  論文  参考訳（メタデータ） (2024-03-08T09:32:43Z)
• Self-Supervised Learning for Videos: A Survey [70.37277191524755]
  自己教師型学習は、画像ドメインとビデオドメインの両方で有望である。 本稿では,ビデオ領域に着目した自己教師型学習における既存のアプローチについて概観する。
  論文  参考訳（メタデータ） (2022-06-18T00:26:52Z)
• Memory Bounds for Continual Learning [13.734474418577188]
  継続的学習(Continuous learning)、すなわち生涯学習(Lifelong learning)は、機械学習にとって、現在非常に困難な課題である。 我々は,不適切な学習者であっても,$k$で線形に成長するメモリを必要とすることを示すために,コミュニケーションの複雑さを新たに活用する。
  論文  参考訳（メタデータ） (2022-04-22T17:19:50Z)
• Prospective Learning: Principled Extrapolation to the Future [45.287871145154135]
  学習は、過去の経験に基づいて決定ルールを更新し、将来のパフォーマンスが向上するプロセスを発展させます。 伝統的に、機械学習は、未来が分布や対向力学において過去と同一であるという仮定の下でしばしば評価される。 ここでは、学習問題を、部分的に学習可能な動的な未来の概念を中心としたものに再構成する。 予測学習は,(1)現在,自然知能の解決方法に関する十分な説明が不十分な,現実世界の多くの問題を,より正確に特徴づけるものである,と我々は主張する。
  論文  参考訳（メタデータ） (2022-01-19T01:19:57Z)
• Recent Advances of Continual Learning in Computer Vision: An Overview [16.451358332033532]
  継続的な学習は、異なる時間ステップでやってくる新しい知識を学習し、融合し、蓄積する能力を持つ人間の学習プロセスと似ている。 本稿では,コンピュータビジョンにおける連続学習の最近の進歩を概観する。
  論文  参考訳（メタデータ） (2021-09-23T13:30:18Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)
• Transfer Learning in Deep Reinforcement Learning: A Survey [64.36174156782333]
  強化学習は、シーケンシャルな意思決定問題を解決するための学習パラダイムである。 近年、ディープニューラルネットワークの急速な発展により、強化学習の顕著な進歩が見られた。 転校学習は 強化学習が直面する様々な課題に 対処するために生まれました
  論文  参考訳（メタデータ） (2020-09-16T18:38:54Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。