論文の概要: Exemplar-free Continual Representation Learning via Learnable Drift Compensation

• arxiv url: http://arxiv.org/abs/2407.08536v1
• Date: Thu, 11 Jul 2024 14:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 17:10:08.241899
• Title: Exemplar-free Continual Representation Learning via Learnable Drift Compensation
• Title（参考訳）: 学習可能なドリフト補償による非経験的連続表現学習
• Authors: Alex Gomez-Villa, Dipam Goswami, Kai Wang, Andrew D. Bagdanov, Bartlomiej Twardowski, Joost van de Weijer,
• Abstract要約: 本稿では,任意の背骨のドリフトを効果的に軽減できるLearnerable Drift Compensation (LDC)を提案する。 LDCは、既存の継続的学習アプローチの上に、素早く簡単に統合できます。 教師付き設定と半教師付き設定の両方で最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 24.114984920918715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Exemplar-free class-incremental learning using a backbone trained from scratch and starting from a small first task presents a significant challenge for continual representation learning. Prototype-based approaches, when continually updated, face the critical issue of semantic drift due to which the old class prototypes drift to different positions in the new feature space. Through an analysis of prototype-based continual learning, we show that forgetting is not due to diminished discriminative power of the feature extractor, and can potentially be corrected by drift compensation. To address this, we propose Learnable Drift Compensation (LDC), which can effectively mitigate drift in any moving backbone, whether supervised or unsupervised. LDC is fast and straightforward to integrate on top of existing continual learning approaches. Furthermore, we showcase how LDC can be applied in combination with self-supervised CL methods, resulting in the first exemplar-free semi-supervised continual learning approach. We achieve state-of-the-art performance in both supervised and semi-supervised settings across multiple datasets. Code is available at \url{https://github.com/alviur/ldc}.
• Abstract（参考訳）: スクラッチから訓練し、小さな最初のタスクから始めるバックボーンを用いた、経験のないクラスインクリメンタルラーニングは、連続的な表現学習にとって重要な課題である。 プロトタイプベースのアプローチは、継続的に更新されると、古いクラスのプロトタイプが新機能空間で異なる位置にドリフトするため、セマンティックドリフトの重要な問題に直面します。 プロトタイプに基づく連続学習の分析により,特徴抽出器の識別能力の低下に起因するものではなく,ドリフト補償によって補正できる可能性が示唆された。 これを解決するために,学習可能ドリフト補償 (LDC) を提案する。 LDCは、既存の継続的学習アプローチの上に、素早く簡単に統合できます。 さらに,LCDを自己教師付きCL法と組み合わせることで,初となる半教師付き半教師付き連続学習手法を提案する。 複数のデータセットにまたがる教師付き設定と半教師付き設定の両方において、最先端のパフォーマンスを実現する。 コードは \url{https://github.com/alviur/ldc} で入手できる。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Beyond Prompt Learning: Continual Adapter for Efficient Rehearsal-Free Continual Learning [22.13331870720021]
  C-ADA (Continuous Adapter) という,RFCL タスクに対する超高速学習手法を提案する。 C-ADAは、CALの特定の重みを柔軟に拡張し、各タスクの新たな知識を学び、古い重みを凍結して以前の知識を保存する。 提案手法は,現状のSOTA(State-of-the-art)法よりも優れ,性能とトレーニング速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-14T17:40:40Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning [13.264972882846966]
  継続的な学習方法は破滅的な忘れ込みに苦しむことが知られている。 既存のexemplar-freeメソッドは、通常、最初のタスクがその後のタスクよりもかなり大きい設定で評価される。 本稿では, 従来のモデル埋め込み空間において, 組込みが旧型プロトタイプに近いように, 現在のサンプルを逆向きに摂動させることを提案する。 次に,従来のモデルから新しいモデルへの埋め込み空間のドリフトを摂動画像を用いて推定し,それに応じてプロトタイプを補償する。
  論文  参考訳（メタデータ） (2024-05-29T13:31:42Z)
• Overcoming Domain Drift in Online Continual Learning [24.86094018430407]
  オンライン連続学習(OCL)は、機械学習モデルに一連のタスクで新しい知識をオンラインで取得する権限を与える。 OCLは、破滅的な忘れをし、以前のタスクで学んだモデルは、新しいタスクに遭遇したときに実質的に上書きされる、という大きな課題に直面します。 本稿では,古いタスクのドメインを固定し,負の転送効果を低減するための新しいリハーサル戦略であるDrift-Reducing Rehearsal(DRR)を提案する。
  論文  参考訳（メタデータ） (2024-05-15T06:57:18Z)
• Single-Reset Divide & Conquer Imitation Learning [49.87201678501027]
  デモはDeep Reinforcement Learningアルゴリズムの学習プロセスを高速化するために一般的に使用される。 いくつかのアルゴリズムは1つのデモンストレーションから学習するために開発されている。
  論文  参考訳（メタデータ） (2024-02-14T17:59:47Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Guiding The Last Layer in Federated Learning with Pre-Trained Models [18.382057374270143]
  フェデレートラーニング(FL)は、データを共有することなく、多数の参加者にまたがってモデルをトレーニングできる新興パラダイムである。 NCM(Nearest Class Means)を用いた分類ヘッドの適合は,既存の提案よりも正確に,桁違いに効率的に行えることを示す。
  論文  参考訳（メタデータ） (2023-06-06T18:02:02Z)
• CoopInit: Initializing Generative Adversarial Networks via Cooperative Learning [50.90384817689249]
  CoopInitは、協力的な学習ベースの戦略で、GANにとって良い出発点を素早く学べる。 本稿では,画像生成における提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2023-03-21T07:49:32Z)
• ICICLE: Interpretable Class Incremental Continual Learning [35.105786309067895]
  Interpretable Class-InCremental LEarning (ICICLE) は、模範的な部分ベースのアプローチを採用する、典型的なフリーアプローチである。 実験の結果,ICICLEは解釈可能性の概念のドリフトを減らし,従来のクラス増分学習手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-03-14T11:31:45Z)
• Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration [83.29856873525674]
  本稿では,自己教師型学習のためのビューサンプリング問題を対象とした,軽量潜在変数モデル UOTA を提案する。 本手法は,多くの主流な自己指導型学習手法に直接応用する。
  論文  参考訳（メタデータ） (2021-12-15T14:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。