論文の概要: A Comprehensive Empirical Evaluation on Online Continual Learning
- arxiv url: http://arxiv.org/abs/2308.10328v3
- Date: Sat, 23 Sep 2023 21:09:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 01:21:43.847529
- Title: A Comprehensive Empirical Evaluation on Online Continual Learning
- Title（参考訳）: オンライン連続学習に関する総合的実証評価
- Authors: Albin Soutif--Cormerais, Antonio Carta, Andrea Cossu, Julio Hurtado,
Hamed Hemati, Vincenzo Lomonaco, Joost Van de Weijer
- Abstract要約: オンライン連続学習に取り組む文献から手法を評価する。
画像分類の文脈におけるクラスインクリメンタル設定に焦点をあてる。
これらの手法をSplit-CIFAR100とSplit-TinyImagenetベンチマークで比較する。
- 参考スコア（独自算出の注目度）: 20.39495058720296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online continual learning aims to get closer to a live learning experience by
learning directly on a stream of data with temporally shifting distribution and
by storing a minimum amount of data from that stream. In this empirical
evaluation, we evaluate various methods from the literature that tackle online
continual learning. More specifically, we focus on the class-incremental
setting in the context of image classification, where the learner must learn
new classes incrementally from a stream of data. We compare these methods on
the Split-CIFAR100 and Split-TinyImagenet benchmarks, and measure their average
accuracy, forgetting, stability, and quality of the representations, to
evaluate various aspects of the algorithm at the end but also during the whole
training period. We find that most methods suffer from stability and
underfitting issues. However, the learned representations are comparable to
i.i.d. training under the same computational budget. No clear winner emerges
from the results and basic experience replay, when properly tuned and
implemented, is a very strong baseline. We release our modular and extensible
codebase at https://github.com/AlbinSou/ocl_survey based on the avalanche
framework to reproduce our results and encourage future research.
- Abstract（参考訳）: オンライン連続学習は、時間的シフトのあるデータストリーム上で直接学習し、そのストリームから最小量のデータを格納することで、ライブ学習体験に近づけることを目的としている。
この経験的評価では、オンライン連続学習に取り組む文献から様々な方法を評価する。
より具体的には、画像分類の文脈におけるクラス増分設定に焦点を当て、学習者はデータストリームから新たなクラスを漸進的に学習しなければならない。
これらの手法をSplit-CIFAR100とSplit-TinyImagenetベンチマークで比較し、それらの平均精度、忘れ、安定性、表現の質を測定し、最後にアルゴリズムの様々な側面を評価する。
ほとんどの手法は安定性と不適合の問題に悩まされている。
しかし、学習された表現は同じ計算予算の下での訓練に匹敵する。
結果から明らかな勝者は現れず、適切に調整され実装された場合、基本的なエクスペリエンスの再生は非常に強力なベースラインです。
私たちは、avalancheフレームワークをベースにした、モジュール化された拡張可能なコードベースをhttps://github.com/albinsou/ocl_surveyでリリースします。
関連論文リスト
- RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning [68.42776779425978]
既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。
続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。
本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
論文 参考訳（メタデータ） (2024-02-13T22:07:29Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Real-Time Evaluation in Online Continual Learning: A New Hope [104.53052316526546]
計算コストに関して,現在の継続学習(CL)手法を評価した。
簡単なベースラインは、この評価の下で最先端のCL法より優れている。
これは、既存のCL文献の大部分は、実用的でない特定の種類のストリームに適合していることを驚くほど示唆している。
論文 参考訳（メタデータ） (2023-02-02T12:21:10Z) - Standardized Evaluation of Machine Learning Methods for Evolving Data
Streams [11.17545155325116]
進化するデータストリームにおいて、高品質な機械学習のための包括的な特性セットを提案する。
本稿では,オンライン予測モデル,オンライン特徴選択,コンセプトドリフト検出のための適切な評価手法と評価戦略について論じる。
提案された評価標準は、floatと呼ばれる新しいPythonフレームワークで提供されている。
論文 参考訳（メタデータ） (2022-04-28T16:40:33Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳（メタデータ） (2022-01-23T22:14:17Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2021-08-20T06:17:20Z) - Continual Contrastive Self-supervised Learning for Image Classification [10.070132585425938]
自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。
自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。
本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
論文 参考訳（メタデータ） (2021-07-05T03:53:42Z) - Low-Regret Active learning [64.36270166907788]
トレーニングに最も有用なラベル付きデータポイントを識別するオンライン学習アルゴリズムを開発した。
私たちの仕事の中心は、予測可能な(簡単な)インスタンスの低い後悔を達成するために調整された睡眠専門家のための効率的なアルゴリズムです。
論文 参考訳（メタデータ） (2021-04-06T22:53:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。