論文の概要: FoCL: Feature-Oriented Continual Learning for Generative Models
- arxiv url: http://arxiv.org/abs/2003.03877v1
- Date: Mon, 9 Mar 2020 00:38:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 08:51:22.685585
- Title: FoCL: Feature-Oriented Continual Learning for Generative Models
- Title(参考訳): FoCL: 生成モデルのための特徴指向連続学習
- Authors: Qicheng Lao, Mehrzad Mortazavi, Marzieh Tahaei, Francis Dutil, Thomas
Fevens, Mohammad Havaei
- Abstract要約: 逐次到着タスクにおける分布変化へのFoCLの適応が速いことを示す。
また、モデルが忘れることに苦しむ程度を正確に評価する忘れやすさ尺度も導入する。
- 参考スコア(独自算出の注目度): 9.732863584750179
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we propose a general framework in continual learning for
generative models: Feature-oriented Continual Learning (FoCL). Unlike previous
works that aim to solve the catastrophic forgetting problem by introducing
regularization in the parameter space or image space, FoCL imposes
regularization in the feature space. We show in our experiments that FoCL has
faster adaptation to distributional changes in sequentially arriving tasks, and
achieves the state-of-the-art performance for generative models in task
incremental learning. We discuss choices of combined regularization spaces
towards different use case scenarios for boosted performance, e.g., tasks that
have high variability in the background. Finally, we introduce a forgetfulness
measure that fairly evaluates the degree to which a model suffers from
forgetting. Interestingly, the analysis of our proposed forgetfulness score
also implies that FoCL tends to have a mitigated forgetting for future tasks.
- Abstract(参考訳): 本稿では,FoCL(Feature-oriented Continuousal Learning)という,生成モデルに対する連続学習の一般的な枠組みを提案する。
パラメータ空間や画像空間の正規化を導入することで、破滅的な忘れ問題の解決を目指す従来の研究とは異なり、FoCLは特徴空間の正規化を課している。
実験では,FoCLは逐次到着タスクの分布変化に適応しやすく,タスクインクリメンタル学習における生成モデルの最先端性能を実現する。
異なるユースケースシナリオに対する複合正規化空間の選択について検討し、パフォーマンスの向上、例えば、バックグラウンドに高い変動性を持つタスクについて論じる。
最後に、モデルが忘れることに苦しむ程度を正確に評価する忘れやすさ尺度を導入する。
興味深いことに、提案した忘れやすさスコアの分析は、FoCLが将来のタスクを省く傾向にあることも示唆している。
関連論文リスト
- Invariant Test-Time Adaptation for Vision-Language Model Generalization [90.70743356588996]
学習可能なプロンプトを最適化するテスト時間プロンプトチューニングのパラダイムを導入し,真の因果不変性を活用できるようにモデルを説得する。
提案手法は,潜在的に誤解を招く可能性のあるタスク関連文脈情報への過度な依存を効果的に軽減する。
論文 参考訳(メタデータ) (2024-03-01T09:01:53Z) - Enhanced Few-Shot Class-Incremental Learning via Ensemble Models [37.387414910740695]
クラス増分学習(class-incremental learning)は、新しいクラスを限られたトレーニングデータに継続的に適合させることを目的としている。
主な課題は、珍しい新しいトレーニングサンプルを過度に適合させ、古いクラスを忘れることである。
本稿では,データ拡張と協調して一般化を促進する新しいアンサンブルモデルフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-14T06:07:07Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳(メタデータ) (2023-09-11T14:16:37Z) - Class-Incremental Mixture of Gaussians for Deep Continual Learning [15.49323098362628]
本稿では,ガウスモデルの混合を連続学習フレームワークに組み込むことを提案する。
固定抽出器を用いたメモリフリーシナリオにおいて,本モデルが効果的に学習可能であることを示す。
論文 参考訳(メタデータ) (2023-07-09T04:33:19Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。
フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。
本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文 参考訳(メタデータ) (2021-06-24T05:19:26Z) - Posterior Meta-Replay for Continual Learning [4.319932092720977]
連続学習(CL)アルゴリズムは最近、i.i.dでトレーニングする必要性を克服しようとするため、多くの注目を集めている。
未知のターゲットデータ分布からのサンプル。
ベイズ的視点を取り入れ,タスク固有の後方分布を継続的に学習することによって,cl問題に取り組むための原理的な方法を検討した。
論文 参考訳(メタデータ) (2021-03-01T17:08:35Z) - Remembering for the Right Reasons: Explanations Reduce Catastrophic
Forgetting [100.75479161884935]
我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。
RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。
メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
論文 参考訳(メタデータ) (2020-10-04T10:05:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。