論文の概要: Computationally Budgeted Continual Learning: What Does Matter?
- arxiv url: http://arxiv.org/abs/2303.11165v2
- Date: Sat, 15 Jul 2023 01:49:47 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-18 22:51:02.015343
- Title: Computationally Budgeted Continual Learning: What Does Matter?
- Title(参考訳): 計算予算付き連続学習:何が重要か?
- Authors: Ameya Prabhu, Hasan Abed Al Kader Hammoud, Puneet Dokania, Philip H.S.
Torr, Ser-Nam Lim, Bernard Ghanem, Adel Bibi
- Abstract要約: CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
- 参考スコア(独自算出の注目度): 128.0827987414154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual Learning (CL) aims to sequentially train models on streams of
incoming data that vary in distribution by preserving previous knowledge while
adapting to new data. Current CL literature focuses on restricted access to
previously seen data, while imposing no constraints on the computational budget
for training. This is unreasonable for applications in-the-wild, where systems
are primarily constrained by computational and time budgets, not storage. We
revisit this problem with a large-scale benchmark and analyze the performance
of traditional CL approaches in a compute-constrained setting, where effective
memory samples used in training can be implicitly restricted as a consequence
of limited computation. We conduct experiments evaluating various CL sampling
strategies, distillation losses, and partial fine-tuning on two large-scale
datasets, namely ImageNet2K and Continual Google Landmarks V2 in data
incremental, class incremental, and time incremental settings. Through
extensive experiments amounting to a total of over 1500 GPU-hours, we find
that, under compute-constrained setting, traditional CL approaches, with no
exception, fail to outperform a simple minimal baseline that samples uniformly
from memory. Our conclusions are consistent in a different number of stream
time steps, e.g., 20 to 200, and under several computational budgets. This
suggests that most existing CL methods are particularly too computationally
expensive for realistic budgeted deployment. Code for this project is available
at: https://github.com/drimpossible/BudgetCL.
- Abstract(参考訳): CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布が異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約はない。
これは、ストレージではなく、主に計算と時間予算によって制約される、ワイルドなアプリケーションには当てはまらない。
我々は,この問題を大規模ベンチマークで再検討し,計算制約付き環境での従来のCLアプローチの性能を解析する。
我々は,データインクリメンタル,クラスインクリメンタル,タイムインクリメンタルの2つの大規模データセットであるImageNet2KとContinuous Google Landmarks V2について,CLサンプリング戦略,蒸留損失,部分微調整の評価実験を行った。
1500以上のgpu時間を超える大規模な実験を通じて、計算に制約された設定では、従来のclアプローチは、例外なく、メモリから一様にサンプルされる単純な最小ベースラインを上回ってはいないことが分かりました。
私たちの結論は、20から200といったさまざまなストリームタイムステップや、いくつかの計算予算の下で一貫しています。
これは、既存のCLメソッドの多くは、現実的な予算展開には計算コストが高すぎることを示唆している。
このプロジェクトのコードは、https://github.com/drimpossible/BudgetCLで入手できる。
関連論文リスト
- Density Distribution-based Learning Framework for Addressing Online
Continual Learning Challenges [4.715630709185073]
オンライン連続学習のための密度分布に基づく学習フレームワークを提案する。
我々のフレームワークは、より優れた平均精度と時間空間効率を実現する。
提案手法は, CL のアプローチにおいて, 有意な差で優れる。
論文 参考訳(メタデータ) (2023-11-22T09:21:28Z) - Online Continual Learning Without the Storage Constraint [67.66235695269839]
我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。
高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。
2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
論文 参考訳(メタデータ) (2023-05-16T08:03:07Z) - Does Continual Learning Equally Forget All Parameters? [55.431048995662714]
連続学習(CL)における分散シフト(タスクやドメインシフトなど)は通常、ニューラルネットワークを壊滅的に忘れてしまう。
ニューラルネットワークのどのモジュールが、CL中のトレーニングダイナミクスを調査することによって忘れやすいかを検討する。
CL中に周期的にトリガされるFPFの1段階ごとのリプレイを完全に取り除き,わずか$k$で置き換える,より効率的でシンプルな手法を提案する。
論文 参考訳(メタデータ) (2023-04-09T04:36:24Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳(メタデータ) (2023-02-02T12:21:10Z) - Is Continual Learning Truly Learning Representations Continually? [68.81762258285767]
学習した表現に有意義な違いを与える唯一の選択肢は、メモリ使用量の増加であることを示す。
驚くべきことに、十分なメモリサイズを持つ教師なし(あるいは自己教師付き)CLは、教師付き(あるいは自己教師付き)CLと同等のパフォーマンスを達成できる。
論文 参考訳(メタデータ) (2022-06-16T11:44:11Z) - Foundational Models for Continual Learning: An Empirical Study of Latent
Replay [17.322679682451597]
本稿では,下流の連続学習シナリオの基礎として,事前学習型視覚モデルの有効性について検討する。
大規模ベンチマークシナリオにおける各種事前学習モデルの有効性を,潜時および生データ空間におけるバニラ再生設定と比較した。
論文 参考訳(メタデータ) (2022-04-30T19:11:37Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳(メタデータ) (2022-01-17T09:09:09Z) - RSAC: Regularized Subspace Approximation Classifier for Lightweight
Continuous Learning [0.9137554315375922]
継続的学習は、時々来るデータについて学習を行おうとする。
本研究では,軽量な連続学習を実現するために,新たなトレーニングアルゴリズムである正規化部分空間近似分類器(RSAC)を提案する。
大規模な実験により、RSACは従来の継続的学習よりも効率的であることが示され、様々な実験環境下での作業よりも優れていた。
論文 参考訳(メタデータ) (2020-07-03T03:38:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。