論文の概要: Schedule-Robust Online Continual Learning
- arxiv url: http://arxiv.org/abs/2210.05561v1
- Date: Tue, 11 Oct 2022 15:55:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 16:55:32.820333
- Title: Schedule-Robust Online Continual Learning
- Title(参考訳): Schedule-Robustオンライン連続学習
- Authors: Ruohan Wang, Marco Ciccone, Giulia Luise, Massimiliano Pontil, Andrew
Yapp, Carlo Ciliberto
- Abstract要約: 連続学習アルゴリズムは、静止しないデータストリームから学習する。
CLの主な課題は、同じ基礎データ上で任意のスケジュールに対して堅牢なメソッドを設計することである。
スケジュールを乱す予測器を学習する過程としてCLに新たな視点を提示し、次にリプレイデータのみを用いて予測器を適応する。
- 参考スコア(独自算出の注目度): 45.325658404913945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A continual learning (CL) algorithm learns from a non-stationary data stream.
The non-stationarity is modeled by some schedule that determines how data is
presented over time. Most current methods make strong assumptions on the
schedule and have unpredictable performance when such requirements are not met.
A key challenge in CL is thus to design methods robust against arbitrary
schedules over the same underlying data, since in real-world scenarios
schedules are often unknown and dynamic. In this work, we introduce the notion
of schedule-robustness for CL and a novel approach satisfying this desirable
property in the challenging online class-incremental setting. We also present a
new perspective on CL, as the process of learning a schedule-robust predictor,
followed by adapting the predictor using only replay data. Empirically, we
demonstrate that our approach outperforms existing methods on CL benchmarks for
image classification by a large margin.
- Abstract(参考訳): 連続学習(CL)アルゴリズムは、非定常データストリームから学習する。
非定常性は、時間とともにどのようにデータが提示されるかを決定するスケジュールによってモデル化される。
現在のほとんどのメソッドはスケジュールに強い仮定をしており、そのような要件が満たされない場合は予測不能なパフォーマンスを持つ。
したがって、CLの主な課題は、実際のシナリオではスケジュールが未知で動的であるため、同じ基盤データ上で任意のスケジュールに対して堅牢なメソッドを設計することである。
そこで本研究では,CLのスケジュール損益感の概念と,その望ましい特性を満足する新たなアプローチを,オンラインクラス増分設定の課題として紹介する。
また,スケジュールロバスト予測子を学習し,リプレイデータのみを用いて予測子を適応するプロセスとして,clの新しい視点を提案する。
実験により,提案手法は画像分類のためのCLベンチマークの既存手法よりも大きなマージンで優れていることを示す。
関連論文リスト
- Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
論文 参考訳(メタデータ) (2023-03-20T14:50:27Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳(メタデータ) (2023-02-02T12:21:10Z) - Do Pre-trained Models Benefit Equally in Continual Learning? [22.457562524649934]
既存の継続学習(CL)の研究は主に、ゼロから訓練されたモデルのアルゴリズムの開発に費やされている。
コントリビュートベンチマークのパフォーマンスは高いが、これらのアルゴリズムは現実のシナリオで劇的なパフォーマンス低下を示す。
本稿では,CLに対する事前学習の体系的導入を提唱する。
論文 参考訳(メタデータ) (2022-10-27T18:03:37Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳(メタデータ) (2022-01-17T09:09:09Z) - Weakly Supervised Continual Learning [17.90483695137098]
この研究は、弱々しい監視された継続的学習(WSCL)を探求する
我々の提案は、教師付き情報が不足している場合に高い柔軟性を示すだけでなく、25%未満のラベルが、完全な監督の下で訓練されたSOTAメソッドに到達したり、性能を上回るのに十分であることを示す。
そこで本手法では, 教師付き情報が少ない場合に高い柔軟性を示すだけでなく, 25%未満のラベルが, 完全監督下で訓練されたSOTA手法に到達したり, 性能を向上させるのに十分であることを示す。
論文 参考訳(メタデータ) (2021-08-14T14:38:20Z) - Continual Learning for Recurrent Neural Networks: a Review and Empirical
Evaluation [12.27992745065497]
リカレントニューラルネットワークによる連続学習は、受信データが定常的でない多数のアプリケーションへの道を開くことができる。
コントリビューションの分類とベンチマークのレビューを提供することで、シーケンシャルデータ処理のためのCLに関する文献を整理します。
我々は既存のデータセットに基づくシーケンシャルデータを持つclの新しいベンチマークを2つ提案する。
論文 参考訳(メタデータ) (2021-03-12T19:25:28Z) - Buffer Pool Aware Query Scheduling via Deep Reinforcement Learning [12.388301931687893]
入ってくるクエリ間で重複するデータ読み込みを活用する学習スケジューラであるSmartQueueを紹介する。
SmartQueueは、ワークロード固有のスケジューリング戦略を生成するために、深い強化学習に依存している。
本稿では,学習したスケジューラが大幅な性能向上を提供できることを示す,概念実証プロトタイプの結果を紹介する。
論文 参考訳(メタデータ) (2020-07-21T02:28:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。