論文の概要: FoCL: Feature-Oriented Continual Learning for Generative Models

• arxiv url: http://arxiv.org/abs/2003.03877v1
• Date: Mon, 9 Mar 2020 00:38:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 08:51:22.685585
• Title: FoCL: Feature-Oriented Continual Learning for Generative Models
• Title（参考訳）: FoCL: 生成モデルのための特徴指向連続学習
• Authors: Qicheng Lao, Mehrzad Mortazavi, Marzieh Tahaei, Francis Dutil, Thomas Fevens, Mohammad Havaei
• Abstract要約: 逐次到着タスクにおける分布変化へのFoCLの適応が速いことを示す。 また、モデルが忘れることに苦しむ程度を正確に評価する忘れやすさ尺度も導入する。
• 参考スコア（独自算出の注目度）: 9.732863584750179
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a general framework in continual learning for generative models: Feature-oriented Continual Learning (FoCL). Unlike previous works that aim to solve the catastrophic forgetting problem by introducing regularization in the parameter space or image space, FoCL imposes regularization in the feature space. We show in our experiments that FoCL has faster adaptation to distributional changes in sequentially arriving tasks, and achieves the state-of-the-art performance for generative models in task incremental learning. We discuss choices of combined regularization spaces towards different use case scenarios for boosted performance, e.g., tasks that have high variability in the background. Finally, we introduce a forgetfulness measure that fairly evaluates the degree to which a model suffers from forgetting. Interestingly, the analysis of our proposed forgetfulness score also implies that FoCL tends to have a mitigated forgetting for future tasks.
• Abstract（参考訳）: 本稿では,FoCL(Feature-oriented Continuousal Learning)という,生成モデルに対する連続学習の一般的な枠組みを提案する。 パラメータ空間や画像空間の正規化を導入することで、破滅的な忘れ問題の解決を目指す従来の研究とは異なり、FoCLは特徴空間の正規化を課している。 実験では,FoCLは逐次到着タスクの分布変化に適応しやすく,タスクインクリメンタル学習における生成モデルの最先端性能を実現する。 異なるユースケースシナリオに対する複合正規化空間の選択について検討し、パフォーマンスの向上、例えば、バックグラウンドに高い変動性を持つタスクについて論じる。 最後に、モデルが忘れることに苦しむ程度を正確に評価する忘れやすさ尺度を導入する。 興味深いことに、提案した忘れやすさスコアの分析は、FoCLが将来のタスクを省く傾向にあることも示唆している。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Adaptive Variational Continual Learning via Task-Heuristic Modelling [3.6119958671506707]
  変分連続学習(英: variational continual learning, 英: Variational continual learning)は、最高の連続学習モデルの中で最先端のパフォーマンスを持つターンキー学習アルゴリズムである。 そこで本研究では,情報学習とモデル最適化のタスクを組み合わせた,一般化された変分連続学習(G)モデルの拡張について検討する。
  論文  参考訳（メタデータ） (2024-08-29T13:28:11Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Class-Incremental Mixture of Gaussians for Deep Continual Learning [15.49323098362628]
  本稿では,ガウスモデルの混合を連続学習フレームワークに組み込むことを提案する。 固定抽出器を用いたメモリフリーシナリオにおいて,本モデルが効果的に学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-09T04:33:19Z)
• Continual Learners are Incremental Model Generalizers [70.34479702177988]
  本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。 その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。 本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:26:28Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Posterior Meta-Replay for Continual Learning [4.319932092720977]
  連続学習(CL)アルゴリズムは最近、i.i.dでトレーニングする必要性を克服しようとするため、多くの注目を集めている。 未知のターゲットデータ分布からのサンプル。 ベイズ的視点を取り入れ,タスク固有の後方分布を継続的に学習することによって,cl問題に取り組むための原理的な方法を検討した。
  論文  参考訳（メタデータ） (2021-03-01T17:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。