論文の概要: Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective
- arxiv url: http://arxiv.org/abs/2206.08101v3
- Date: Tue, 25 Jun 2024 17:49:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-26 23:29:11.788348
- Title: Towards Diverse Evaluation of Class Incremental Learning: A Representation Learning Perspective
- Title（参考訳）: 授業増分学習の多変量評価に向けて:表現学習の視点から
- Authors: Sungmin Cha, Jihwan Kwak, Dongsub Shim, Hyunwoo Kim, Moontae Lee, Honglak Lee, Taesup Moon,
- Abstract要約: クラスインクリメンタル学習(CIL)アルゴリズムは、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
表現学習における様々な評価プロトコルを用いて,CILアルゴリズムによって訓練されたニューラルネットワークモデルを実験的に解析する。
- 参考スコア（独自算出の注目度）: 67.45111837188685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class incremental learning (CIL) algorithms aim to continually learn new object classes from incrementally arriving data while not forgetting past learned classes. The common evaluation protocol for CIL algorithms is to measure the average test accuracy across all classes learned so far -- however, we argue that solely focusing on maximizing the test accuracy may not necessarily lead to developing a CIL algorithm that also continually learns and updates the representations, which may be transferred to the downstream tasks. To that end, we experimentally analyze neural network models trained by CIL algorithms using various evaluation protocols in representation learning and propose new analysis methods. Our experiments show that most state-of-the-art algorithms prioritize high stability and do not significantly change the learned representation, and sometimes even learn a representation of lower quality than a naive baseline. However, we observe that these algorithms can still achieve high test accuracy because they enable a model to learn a classifier that closely resembles an estimated linear classifier trained for linear probing. Furthermore, the base model learned in the first task, which involves single-task learning, exhibits varying levels of representation quality across different algorithms, and this variance impacts the final performance of CIL algorithms. Therefore, we suggest that the representation-level evaluation should be considered as an additional recipe for more diverse evaluation for CIL algorithms.
- Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)アルゴリズムは、過去の学習クラスを忘れずに、インクリメンタルに到着したデータから新しいオブジェクトクラスを継続的に学習することを目的としている。
CILアルゴリズムの一般的な評価プロトコルは、これまでに学んだすべてのクラスで平均的なテスト精度を測定することである。しかし、テスト精度を最大化することだけにフォーカスすることは、必ずしもCILアルゴリズムの開発につながるとは限りません。
そこで我々は,CILアルゴリズムによって訓練されたニューラルネットワークモデルを,表現学習における様々な評価プロトコルを用いて実験的に解析し,新しい解析手法を提案する。
我々の実験は、ほとんどの最先端アルゴリズムが高い安定性を優先し、学習した表現を著しく変更せず、時には素質のベースラインよりも低品質の表現を学習することを示した。
しかし、これらのアルゴリズムは、線形探索のために訓練された推定線形分類器とよく似た分類器をモデルが学習できるので、高いテスト精度が得られる。
さらに、最初のタスクで学んだベースモデルは、シングルタスク学習を伴い、異なるアルゴリズム間で表現品質の異なるレベルを示し、この分散はCILアルゴリズムの最終性能に影響を与える。
そこで本研究では,CILアルゴリズムのより多様な評価方法として,表現レベルの評価を追加のレシピとして考えるべきである。
関連論文リスト
- Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。
認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。
我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
論文 参考訳（メタデータ） (2023-07-14T03:15:56Z) - NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating
True Coverage [3.4806267677524896]
ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。
擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。
提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-07T01:43:47Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳（メタデータ） (2023-04-12T14:51:47Z) - Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。
本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文 参考訳（メタデータ） (2022-10-02T05:03:38Z) - DLCFT: Deep Linear Continual Fine-Tuning for General Incremental
Learning [29.80680408934347]
事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。
本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。
本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
論文 参考訳（メタデータ） (2022-08-17T06:58:14Z) - Meta-free representation learning for few-shot learning via stochastic
weight averaging [13.6555672824229]
転写学習を用いたショット分類の最近の研究は、エピソードなメタラーニングアルゴリズムの有効性と効率に課題を提起している。
数ショットの回帰と分類のための正確で信頼性の高いモデルを得るための新しい移動学習法を提案する。
論文 参考訳（メタデータ） (2022-04-26T17:36:34Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Evolving Reinforcement Learning Algorithms [186.62294652057062]
メタラーニング強化学習アルゴリズムの手法を提案する。
学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。
従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
論文 参考訳（メタデータ） (2021-01-08T18:55:07Z) - Theoretical Insights Into Multiclass Classification: A High-dimensional
Asymptotic View [82.80085730891126]
線形多クラス分類の最初の現代的精度解析を行う。
分析の結果,分類精度は分布に依存していることがわかった。
得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
論文 参考訳（メタデータ） (2020-11-16T05:17:29Z) - Uncovering Coresets for Classification With Multi-Objective Evolutionary
Algorithms [0.8057006406834467]
coresetはトレーニングセットのサブセットであり、機械学習アルゴリズムが元のデータ全体にわたってトレーニングされた場合の成果と同じようなパフォーマンスを取得する。
候補コルセットは反復的に最適化され、サンプルの追加と削除が行われる。
多目的進化アルゴリズムは、集合内の点数と分類誤差を同時に最小化するために用いられる。
論文 参考訳（メタデータ） (2020-02-20T09:59:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。