論文の概要: Is Continual Learning Truly Learning Representations Continually?
- arxiv url: http://arxiv.org/abs/2206.08101v1
- Date: Thu, 16 Jun 2022 11:44:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-17 15:50:03.280459
- Title: Is Continual Learning Truly Learning Representations Continually?
- Title(参考訳): 連続的な学習は連続的に学習するか?
- Authors: Sungmin Cha, Dongsub Shim, Hyunwoo Kim, Moontae Lee, Honglak Lee, and
Taesup Moon
- Abstract要約: 学習した表現に有意義な違いを与える唯一の選択肢は、メモリ使用量の増加であることを示す。
驚くべきことに、十分なメモリサイズを持つ教師なし(あるいは自己教師付き)CLは、教師付き(あるいは自己教師付き)CLと同等のパフォーマンスを達成できる。
- 参考スコア(独自算出の注目度): 68.81762258285767
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual learning (CL) aims to learn from sequentially arriving tasks
without forgetting previous tasks. Whereas CL algorithms have tried to achieve
higher average test accuracy across all the tasks learned so far, learning
continuously useful representations is critical for successful generalization
and downstream transfer. To measure representational quality, we re-train only
the output layers using a small balanced dataset for all the tasks, evaluating
the average accuracy without any biased predictions toward the current task. We
also test on several downstream tasks, measuring transfer learning accuracy of
the learned representations. By testing our new formalism on ImageNet-100 and
ImageNet-1000, we find that using more exemplar memory is the only option to
make a meaningful difference in learned representations, and most of the
regularization- or distillation-based CL algorithms that use the exemplar
memory fail to learn continuously useful representations in class-incremental
learning. Surprisingly, unsupervised (or self-supervised) CL with sufficient
memory size can achieve comparable performance to the supervised counterparts.
Considering non-trivial labeling costs, we claim that finding more efficient
unsupervised CL algorithms that minimally use exemplary memory would be the
next promising direction for CL research.
- Abstract(参考訳): 連続学習(CL)は、タスクを忘れずに連続的に到着するタスクから学習することを目的としている。
CLアルゴリズムはこれまでに学んだ全てのタスクの平均テスト精度を向上しようと試みてきたが、連続的な有用な表現の学習は一般化と下流転送の成功に不可欠である。
表象的品質を測定するために,すべてのタスクに対して小さなバランスデータセットを使用して,出力層のみを再トレーニングし,現在のタスクに対してバイアスのある予測をすることなく,平均精度を評価する。
また、学習した表現の伝達学習精度を計測し、下流タスクについても検証する。
imagenet-100とimagenet-1000で新しい形式をテストした結果、学習した表現に意味のある違いを与える唯一の選択肢は、より多くのexemplar memoryを使うことであり、exemplar memoryを使用する正規化または蒸留ベースのclアルゴリズムのほとんどは、クラスインクリメンタル学習で継続的に有用な表現を学ぶことができないことがわかった。
驚くべきことに、十分なメモリサイズを持つ教師なし(または自己教師なし)clは、教師なしclと同等の性能を達成できる。
非自明なラベリングコストを考慮すると、模範メモリを最小限に使用するより効率的な教師なしCLアルゴリズムを見つけることが、CL研究の次の有望な方向であると主張する。
関連論文リスト
- Self-Supervised Learning via Maximum Entropy Coding [57.56570417545023]
本稿では,表現の構造を明示的に最適化する原理的目的として,最大エントロピー符号化(MEC)を提案する。
MECは、特定のプリテキストタスクに基づいて、以前のメソッドよりもより一般化可能な表現を学ぶ。
ImageNetリニアプローブだけでなく、半教師付き分類、オブジェクト検出、インスタンスセグメンテーション、オブジェクトトラッキングなど、さまざまなダウンストリームタスクに対して一貫して最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-10-20T17:58:30Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。
MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
論文 参考訳(メタデータ) (2022-06-07T02:03:06Z) - Provable and Efficient Continual Representation Learning [40.78975699391065]
連続学習(CL)では、悲惨なことを忘れずに一連のタスクを学習できるモデルを設計することが目的である。
我々は、新しいタスクが到着するにつれて進化する表現を学習する連続表現学習の課題について研究する。
初期タスクが大きなサンプルサイズと高い"表現多様性"を持つ場合,CLのメリットが示される。
論文 参考訳(メタデータ) (2022-03-03T21:23:08Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳(メタデータ) (2022-01-17T09:09:09Z) - Prototypes-Guided Memory Replay for Continual Learning [13.459792148030717]
継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。
CLの最大の難しさは、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。
オンラインメタ学習モデルに組み込んだメモリ効率の高いCL手法を提案する。
論文 参考訳(メタデータ) (2021-08-28T13:00:57Z) - Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。
自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。
我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
論文 参考訳(メタデータ) (2021-03-25T17:45:27Z) - Efficient Continual Learning with Modular Networks and Task-Driven
Priors [31.03712334701338]
継続学習(CL)における既存の文献は、破滅的な忘れを克服することに焦点を当てている。
新しいモジュールアーキテクチャを導入し、モジュールは特定のタスクを実行するために構成できる原子スキルを表す。
学習アルゴリズムは,モジュールを結合するあらゆる方法の指数関数探索空間上でタスク駆動前処理を活用し,タスクの長いストリームでの効率的な学習を可能にする。
論文 参考訳(メタデータ) (2020-12-23T12:42:16Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。