論文の概要: Is Continual Learning Truly Learning Representations Continually?

• arxiv url: http://arxiv.org/abs/2206.08101v1
• Date: Thu, 16 Jun 2022 11:44:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-17 15:50:03.280459
• Title: Is Continual Learning Truly Learning Representations Continually?
• Title（参考訳）: 連続的な学習は連続的に学習するか?
• Authors: Sungmin Cha, Dongsub Shim, Hyunwoo Kim, Moontae Lee, Honglak Lee, and Taesup Moon
• Abstract要約: 学習した表現に有意義な違いを与える唯一の選択肢は、メモリ使用量の増加であることを示す。 驚くべきことに、十分なメモリサイズを持つ教師なし(あるいは自己教師付き)CLは、教師付き(あるいは自己教師付き)CLと同等のパフォーマンスを達成できる。
• 参考スコア（独自算出の注目度）: 68.81762258285767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) aims to learn from sequentially arriving tasks without forgetting previous tasks. Whereas CL algorithms have tried to achieve higher average test accuracy across all the tasks learned so far, learning continuously useful representations is critical for successful generalization and downstream transfer. To measure representational quality, we re-train only the output layers using a small balanced dataset for all the tasks, evaluating the average accuracy without any biased predictions toward the current task. We also test on several downstream tasks, measuring transfer learning accuracy of the learned representations. By testing our new formalism on ImageNet-100 and ImageNet-1000, we find that using more exemplar memory is the only option to make a meaningful difference in learned representations, and most of the regularization- or distillation-based CL algorithms that use the exemplar memory fail to learn continuously useful representations in class-incremental learning. Surprisingly, unsupervised (or self-supervised) CL with sufficient memory size can achieve comparable performance to the supervised counterparts. Considering non-trivial labeling costs, we claim that finding more efficient unsupervised CL algorithms that minimally use exemplary memory would be the next promising direction for CL research.
• Abstract（参考訳）: 連続学習(CL)は、タスクを忘れずに連続的に到着するタスクから学習することを目的としている。 CLアルゴリズムはこれまでに学んだ全てのタスクの平均テスト精度を向上しようと試みてきたが、連続的な有用な表現の学習は一般化と下流転送の成功に不可欠である。 表象的品質を測定するために,すべてのタスクに対して小さなバランスデータセットを使用して,出力層のみを再トレーニングし,現在のタスクに対してバイアスのある予測をすることなく,平均精度を評価する。 また、学習した表現の伝達学習精度を計測し、下流タスクについても検証する。 imagenet-100とimagenet-1000で新しい形式をテストした結果、学習した表現に意味のある違いを与える唯一の選択肢は、より多くのexemplar memoryを使うことであり、exemplar memoryを使用する正規化または蒸留ベースのclアルゴリズムのほとんどは、クラスインクリメンタル学習で継続的に有用な表現を学ぶことができないことがわかった。 驚くべきことに、十分なメモリサイズを持つ教師なし(または自己教師なし)clは、教師なしclと同等の性能を達成できる。 非自明なラベリングコストを考慮すると、模範メモリを最小限に使用するより効率的な教師なしCLアルゴリズムを見つけることが、CL研究の次の有望な方向であると主張する。

関連論文リスト

• Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
  本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。 認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。 我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-14T03:15:56Z)
• NTKCPL: Active Learning on Top of Self-Supervised Model by Estimating True Coverage [3.4806267677524896]
  ニューラル・タンジェント・カーネル・クラスタリング・プシュード・ラベル(NTKCPL)の新しいアクティブ・ラーニング・ストラテジーを提案する。 擬似ラベルとNTK近似を用いたモデル予測に基づいて経験的リスクを推定する。 提案手法を5つのデータセット上で検証し,ほとんどの場合,ベースライン法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-07T01:43:47Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
  事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。 本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。 本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
  論文  参考訳（メタデータ） (2022-08-17T06:58:14Z)
• Meta-free representation learning for few-shot learning via stochastic weight averaging [13.6555672824229]
  転写学習を用いたショット分類の最近の研究は、エピソードなメタラーニングアルゴリズムの有効性と効率に課題を提起している。 数ショットの回帰と分類のための正確で信頼性の高いモデルを得るための新しい移動学習法を提案する。
  論文  参考訳（メタデータ） (2022-04-26T17:36:34Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Evolving Reinforcement Learning Algorithms [186.62294652057062]
  メタラーニング強化学習アルゴリズムの手法を提案する。 学習アルゴリズムはドメインに依存しないため、トレーニング中に見えない新しい環境に一般化することができる。 従来の制御タスク、gridworld型タスク、atariゲームよりも優れた一般化性能を得る2つの学習アルゴリズムに注目した。
  論文  参考訳（メタデータ） (2021-01-08T18:55:07Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Uncovering Coresets for Classification With Multi-Objective Evolutionary Algorithms [0.8057006406834467]
  coresetはトレーニングセットのサブセットであり、機械学習アルゴリズムが元のデータ全体にわたってトレーニングされた場合の成果と同じようなパフォーマンスを取得する。 候補コルセットは反復的に最適化され、サンプルの追加と削除が行われる。 多目的進化アルゴリズムは、集合内の点数と分類誤差を同時に最小化するために用いられる。
  論文  参考訳（メタデータ） (2020-02-20T09:59:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。