論文の概要: Continual Learning: Applications and the Road Forward

• arxiv url: http://arxiv.org/abs/2311.11908v1
• Date: Mon, 20 Nov 2023 16:40:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-21 17:50:52.406334
• Title: Continual Learning: Applications and the Road Forward
• Title（参考訳）: 継続的学習: 応用と今後の展望
• Authors: Eli Verwimp, Shai Ben-David, Matthias Bethge, Andrea Cossu, Alexander Gepperth, Tyler L. Hayes, Eyke H\"ullermeier, Christopher Kanan, Dhireesha Kudithipudi, Christoph H. Lampert, Martin Mundt, Razvan Pascanu, Adrian Popescu, Andreas S. Tolias, Joost van de Weijer, Bing Liu, Vincenzo Lomonaco, Tinne Tuytelaars, Gido M. van de Ven
• Abstract要約: 継続的学習は、機械学習モデルが、過去に学んだことを忘れずに知識を蓄積することで、新しいデータを継続的に学習できるようにすることを目的としている。 我々は3つの主要な機械学習カンファレンスで発行された最近の連続的な学習論文を調査してステージを設定した。 機械学習における5つのオープンな問題について議論し、継続的学習が必然的にそのソリューションの一部であることを示す。
• 参考スコア（独自算出の注目度）: 109.6685596088882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is a sub-field of machine learning, which aims to allow machine learning models to continuously learn on new data, by accumulating knowledge without forgetting what was learned in the past. In this work, we take a step back, and ask: "Why should one care about continual learning in the first place?". We set the stage by surveying recent continual learning papers published at three major machine learning conferences, and show that memory-constrained settings dominate the field. Then, we discuss five open problems in machine learning, and even though they seem unrelated to continual learning at first sight, we show that continual learning will inevitably be part of their solution. These problems are model-editing, personalization, on-device learning, faster (re-)training and reinforcement learning. Finally, by comparing the desiderata from these unsolved problems and the current assumptions in continual learning, we highlight and discuss four future directions for continual learning research. We hope that this work offers an interesting perspective on the future of continual learning, while displaying its potential value and the paths we have to pursue in order to make it successful. This work is the result of the many discussions the authors had at the Dagstuhl seminar on Deep Continual Learning, in March 2023.
• Abstract（参考訳）: 継続的学習は機械学習のサブフィールドであり、過去の学習を忘れずに知識を蓄積することで、機械学習モデルが新しいデータを継続的に学習できるようにすることを目的としている。 この作業では、一歩後退して、"そもそも何故継続的な学習を気にすべきなのか"と尋ねます。 3つの主要な機械学習カンファレンスで発表された最近の連続学習論文を調査し、メモリ制約のある設定がこの分野を支配することを示した。 そして、機械学習における5つのオープン問題について議論し、それらは一見すると連続学習とは無関係に見えるものの、継続学習が必然的に彼らのソリューションの一部であることを示す。 これらの問題は、モデル編集、パーソナライゼーション、オンデバイス学習、高速(再)トレーニング、強化学習である。 最後に,未解決問題のデシデラタと継続学習における現在の仮定を比較し,継続学習研究の4つの今後の方向性について論じる。 この研究が、その潜在的な価値と成功のために追求しなければならない道を示しながら、継続的な学習の未来に対する興味深い視点を提供してくれることを願っています。 この研究は、2023年3月のDagtuhl Seminar on Deep Continual Learningで著者らが行った多くの議論の結果である。

関連論文リスト

• A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Self-Supervised Learning for Videos: A Survey [70.37277191524755]
  自己教師型学習は、画像ドメインとビデオドメインの両方で有望である。 本稿では,ビデオ領域に着目した自己教師型学習における既存のアプローチについて概観する。
  論文  参考訳（メタデータ） (2022-06-18T00:26:52Z)
• Memory Bounds for Continual Learning [13.734474418577188]
  継続的学習(Continuous learning)、すなわち生涯学習(Lifelong learning)は、機械学習にとって、現在非常に困難な課題である。 我々は,不適切な学習者であっても,$k$で線形に成長するメモリを必要とすることを示すために,コミュニケーションの複雑さを新たに活用する。
  論文  参考訳（メタデータ） (2022-04-22T17:19:50Z)
• Prospective Learning: Principled Extrapolation to the Future [45.287871145154135]
  学習は、過去の経験に基づいて決定ルールを更新し、将来のパフォーマンスが向上するプロセスを発展させます。 伝統的に、機械学習は、未来が分布や対向力学において過去と同一であるという仮定の下でしばしば評価される。 ここでは、学習問題を、部分的に学習可能な動的な未来の概念を中心としたものに再構成する。 予測学習は,(1)現在,自然知能の解決方法に関する十分な説明が不十分な,現実世界の多くの問題を,より正確に特徴づけるものである,と我々は主張する。
  論文  参考訳（メタデータ） (2022-01-19T01:19:57Z)
• Recent Advances of Continual Learning in Computer Vision: An Overview [16.451358332033532]
  継続的な学習は、異なる時間ステップでやってくる新しい知識を学習し、融合し、蓄積する能力を持つ人間の学習プロセスと似ている。 本稿では,コンピュータビジョンにおける連続学習の最近の進歩を概観する。
  論文  参考訳（メタデータ） (2021-09-23T13:30:18Z)
• Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning [69.99522650448213]
  機械学習の研究は転換点にある。 研究の関心は、高度にパラメータ化されたモデルのパフォーマンス向上から、非常に具体的なタスクへとシフトしている。 このホワイトペーパーは、機械学習研究におけるこの新興分野の紹介と議論を提供する。
  論文  参考訳（メタデータ） (2020-12-21T15:07:19Z)
• Transfer Learning in Deep Reinforcement Learning: A Survey [64.36174156782333]
  強化学習は、シーケンシャルな意思決定問題を解決するための学習パラダイムである。 近年、ディープニューラルネットワークの急速な発展により、強化学習の顕著な進歩が見られた。 転校学習は 強化学習が直面する様々な課題に 対処するために生まれました
  論文  参考訳（メタデータ） (2020-09-16T18:38:54Z)
• Bilevel Continual Learning [76.50127663309604]
  BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。 連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
  論文  参考訳（メタデータ） (2020-07-30T16:00:23Z)
• Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
  連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。 生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。 連続学習には非常に有望な手法であることを示す。
  論文  参考訳（メタデータ） (2020-07-01T13:44:33Z)
• Curriculum Learning for Reinforcement Learning Domains: A Framework and Survey [53.73359052511171]
  強化学習(Reinforcement Learning, RL)は、エージェントが限られた環境フィードバックしか持たないシーケンシャルな意思決定タスクに対処するための一般的なパラダイムである。 本稿では、RLにおけるカリキュラム学習(CL)の枠組みを提案し、既存のCLメソッドを仮定、能力、目標の観点から調査・分類する。
  論文  参考訳（メタデータ） (2020-03-10T20:41:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。