論文の概要: Learning to Predict Gradients for Semi-Supervised Continual Learning
- arxiv url: http://arxiv.org/abs/2201.09196v2
- Date: Wed, 31 Jan 2024 05:30:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 18:27:15.209471
- Title: Learning to Predict Gradients for Semi-Supervised Continual Learning
- Title(参考訳): 半教師付き連続学習のための勾配予測学習
- Authors: Yan Luo, Yongkang Wong, Mohan Kankanhalli, Qi Zhao
- Abstract要約: マシンインテリジェンスの主な課題は、以前獲得した知識を忘れずに、新しい視覚概念を学習することだ。
既存の教師付き連続学習と人間のような知性の間にはギャップがあり、人間はラベル付きデータとラベルなしデータの両方から学ぶことができる。
我々は,既存の連続学習モデルに汎用的に適用可能な,半教師付き連続学習法を定式化した。
- 参考スコア(独自算出の注目度): 36.715712711431856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A key challenge for machine intelligence is to learn new visual concepts
without forgetting the previously acquired knowledge. Continual learning is
aimed towards addressing this challenge. However, there is a gap between
existing supervised continual learning and human-like intelligence, where human
is able to learn from both labeled and unlabeled data. How unlabeled data
affects learning and catastrophic forgetting in the continual learning process
remains unknown. To explore these issues, we formulate a new semi-supervised
continual learning method, which can be generically applied to existing
continual learning models. Specifically, a novel gradient learner learns from
labeled data to predict gradients on unlabeled data. Hence, the unlabeled data
could fit into the supervised continual learning method. Different from
conventional semi-supervised settings, we do not hypothesize that the
underlying classes, which are associated to the unlabeled data, are known to
the learning process. In other words, the unlabeled data could be very distinct
from the labeled data. We evaluate the proposed method on mainstream continual
learning, adversarial continual learning, and semi-supervised learning tasks.
The proposed method achieves state-of-the-art performance on classification
accuracy and backward transfer in the continual learning setting while
achieving desired performance on classification accuracy in the semi-supervised
learning setting. This implies that the unlabeled images can enhance the
generalizability of continual learning models on the predictive ability on
unseen data and significantly alleviate catastrophic forgetting. The code is
available at \url{https://github.com/luoyan407/grad_prediction.git}.
- Abstract(参考訳): マシンインテリジェンスの重要な課題は、以前獲得した知識を忘れずに新しい視覚概念を学ぶことだ。
継続的学習は、この課題に取り組むことを目的としている。
しかし、既存の教師付き連続学習と人間のような知性の間にはギャップがあり、人間はラベル付きデータとラベルなしデータの両方から学習することができる。
ラベルのないデータが、継続的な学習プロセスにおける学習と破滅的な忘れにどのように影響するかは、いまだ不明である。
そこで本研究では,既存の連続学習モデルに汎用的に適用可能な,半教師付き連続学習法を提案する。
具体的には、ラベル付きデータから新しい勾配学習者が学習し、ラベルなしデータの勾配を予測する。
したがって、ラベルのないデータは教師付き連続学習法に適合する。
従来の半教師付き設定とは異なり、ラベルなしデータに関連付けられた下位クラスが学習プロセスに知られているとは考えていない。
言い換えれば、ラベルのないデータはラベル付きデータと非常に異なる可能性がある。
提案手法は,主流の連続学習,逆連続学習,および半教師付き学習タスクにおいて評価される。
提案手法は,半教師付き学習環境における分類精度の所望の性能を保ちながら,連続学習環境における分類精度と後方移動に関する最先端性能を実現する。
このことは、ラベルのない画像は、目に見えないデータに対する予測能力に対する連続学習モデルの一般化性を高め、破滅的な忘れを著しく軽減できることを示している。
コードは \url{https://github.com/luoyan407/grad_prediction.git} で入手できる。
関連論文リスト
- Premonition: Using Generative Models to Preempt Future Data Changes in
Continual Learning [63.850451635362425]
継続的な学習には、データ分散の継続的な変化に対応するためのモデルが必要である。
本稿では,大規模言語モデルと画像生成モデルの組み合わせが有用であることを示す。
トレーニング済みネットワークのバックボーンは、下流の連続学習問題に有用な表現を学習できることがわかった。
論文 参考訳(メタデータ) (2024-03-12T06:29:54Z) - Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Towards Label-Efficient Incremental Learning: A Survey [42.603603392991715]
本研究では,学習者が様々な分布を持つデータストリームに適応するために,インクリメンタル学習を学習する。
ラベル付け作業を減らすために, セミショット, 数ショット, 自己教師型学習の3つの区分を同定した。
論文 参考訳(メタデータ) (2023-02-01T10:24:55Z) - From Weakly Supervised Learning to Active Learning [1.52292571922932]
この論文は、教師付き学習よりも汎用的なフレームワークを導き出せるか?
私たちは、ユニークなターゲットではなく、ターゲット候補のセットを与えるものとして、弱い監督をモデル化します。
我々は、ほとんどの観測値と一致する楽観的な'関数を求めるべきだと論じる。これにより、部分ラベルを曖昧にするための原則を導出できる。
論文 参考訳(メタデータ) (2022-09-23T14:55:43Z) - Continual Learning with Bayesian Model based on a Fixed Pre-trained
Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。
人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文 参考訳(メタデータ) (2022-04-28T08:41:51Z) - A Meta-Learned Neuron model for Continual Learning [0.0]
継続的な学習は、以前に学んだ知識を忘れずに新しい知識を得る能力である。
本研究では、標準的なニューロンをメタ学習ニューロンモデルで置き換える。
提案手法は,トレーニングサンプルのデータセット長シーケンスを記憶し,その学習能力を任意のドメインに一般化する。
論文 参考訳(メタデータ) (2021-11-03T23:39:14Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2021-08-20T06:17:20Z) - Deep Bayesian Unsupervised Lifelong Learning [3.4827140757744908]
非教師付き生涯学習(ULL)における課題の解決に着目する。
我々は、新しいエンドツーエンドのDeep Bayesian Unsupervised Lifelong Learning (DBULL)アルゴリズムを用いて、ULLのための完全なベイズ推論フレームワークを開発する。
過去の知識を効率的に維持するために,生データの潜在表現の十分な統計情報を用いて,新しい知識保存機構を開発する。
論文 参考訳(メタデータ) (2021-06-13T16:24:44Z) - Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。
クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。
本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
論文 参考訳(メタデータ) (2020-06-10T15:15:27Z) - Exploratory Machine Learning with Unknown Unknowns [60.78953456742171]
本稿では,他のラベルと誤認識されたトレーニングデータに未知のクラスが存在するという,新たな問題設定について検討する。
本研究では,潜在的に隠蔽されたクラスを発見するために,機能空間を積極的に拡張することにより,学習データを調べ,調査する探索機械学習を提案する。
論文 参考訳(メタデータ) (2020-02-05T02:06:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。