論文の概要: Preserving Linear Separability in Continual Learning by Backward Feature
Projection
- arxiv url: http://arxiv.org/abs/2303.14595v3
- Date: Wed, 28 Jun 2023 02:37:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 17:49:37.738016
- Title: Preserving Linear Separability in Continual Learning by Backward Feature
Projection
- Title(参考訳): 後方特徴投影による連続学習における線形分離性維持
- Authors: Qiao Gu, Dongsub Shim, Florian Shkurti
- Abstract要約: 破滅的な忘れ物は、継続的な学習において大きな課題となっている。
本稿では,新しい特徴を学習可能な線形変換に変換するための連続学習手法である後方特徴投影(BFP)を提案する。
BFPは古いクラスの線形分離性を保ちつつ、新しいフィーチャの方向が新しいクラスに対応できるようにしている。
- 参考スコア(独自算出の注目度): 16.780058676633917
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Catastrophic forgetting has been a major challenge in continual learning,
where the model needs to learn new tasks with limited or no access to data from
previously seen tasks. To tackle this challenge, methods based on knowledge
distillation in feature space have been proposed and shown to reduce
forgetting. However, most feature distillation methods directly constrain the
new features to match the old ones, overlooking the need for plasticity. To
achieve a better stability-plasticity trade-off, we propose Backward Feature
Projection (BFP), a method for continual learning that allows the new features
to change up to a learnable linear transformation of the old features. BFP
preserves the linear separability of the old classes while allowing the
emergence of new feature directions to accommodate new classes. BFP can be
integrated with existing experience replay methods and boost performance by a
significant margin. We also demonstrate that BFP helps learn a better
representation space, in which linear separability is well preserved during
continual learning and linear probing achieves high classification accuracy.
The code can be found at https://github.com/rvl-lab-utoronto/BFP
- Abstract(参考訳): 破滅的な忘れは、連続的な学習において大きな課題であり、モデルでは、以前見られたタスクからデータにアクセスできない、あるいは制限された、新しいタスクを学習する必要がある。
この課題に対処するため,特徴空間における知識蒸留に基づく手法が提案され,忘れの低減が図られている。
しかし、ほとんどの特徴蒸留法は、プラスチック性の必要性を見越して、新しい特徴を古いものと一致させるよう直接に制約している。
安定性と可塑性のトレードオフを改善するため,我々は,新しい特徴を学習可能な線形変換へと変化させる連続学習法である後方特徴投影法(bfp)を提案する。
BFPは古いクラスの線形分離性を保ちつつ、新しいフィーチャの方向が新しいクラスに対応できるようにしている。
BFPは既存のエクスペリエンスリプレイメソッドと統合することができ、パフォーマンスを大幅に向上させることができる。
また,BFPは連続学習中に線形分離性が良好に維持され,高い分類精度が得られるような表現空間の学習にも有効であることを示す。
コードはhttps://github.com/rvl-lab-utoronto/BFPで確認できる。
関連論文リスト
- MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning [10.95493493610559]
マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。
特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
論文 参考訳(メタデータ) (2024-02-27T16:54:08Z) - Learning Prompt with Distribution-Based Feature Replay for Few-Shot
Class-Incremental Learning [58.4078444826737]
分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。
新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。
新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
論文 参考訳(メタデータ) (2024-01-03T07:59:17Z) - Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class
Incremental Learning [64.14254712331116]
非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。
本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2023-12-20T02:34:11Z) - MixBCT: Towards Self-Adapting Backward-Compatible Training [89.38610089956909]
後方互換性のあるトレーニングを使用することで、古い検索データセットを更新する必要がなくなる。
そこで本研究では,単純かつ高効率な後方互換性学習法であるMixBCTを提案する。
提案手法は,従来の埋め込みの分布に基づいて,新しい特徴に対する制約領域を適応的に調整する。
論文 参考訳(メタデータ) (2023-08-14T05:55:38Z) - New Insights on Relieving Task-Recency Bias for Online Class Incremental
Learning [37.888061221999294]
あらゆる設定において、オンラインクラスインクリメンタルラーニング(OCIL)はより困難であり、現実世界でより頻繁に遭遇する可能性がある。
安定性と塑性のトレードオフに対処するため,Adaptive Focus Shiftingアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-02-16T11:52:00Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - New Insights on Reducing Abrupt Representation Change in Online
Continual Learning [69.05515249097208]
我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。
Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。
本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
論文 参考訳(メタデータ) (2022-03-08T01:37:00Z) - Continually Learning Self-Supervised Representations with Projected
Functional Regularization [39.92600544186844]
近年の自己教師あり学習手法は高品質な画像表現を学習でき、教師ありの手法でギャップを埋めている。
これらの手法は、新たな知識を段階的に取得することができない -- 実際、主にIDデータによる事前学習フェーズとしてのみ使用される。
従来の知識を忘れないように,機能正規化の利用を提案する。
論文 参考訳(メタデータ) (2021-12-30T11:59:23Z) - Towards Better Plasticity-Stability Trade-off in Incremental Learning: A
simple Linear Connector [8.13916229438606]
塑性安定性ジレンマはインクリメンタルラーニングの主要な問題である。
本研究では,従来のタスクに対するヌルスペースプロジェクションと,現在のタスクに対する単純なSGDの2つの独立最適化されたネットワークの単純な平均化が,すでに学習した知識の保存と,新しいタスクの学習に十分な柔軟性を付与することとの有意義なバランスを達成可能であることを示す。
論文 参考訳(メタデータ) (2021-10-15T07:37:20Z) - Storage Fit Learning with Feature Evolvable Streams [77.12891405919704]
ストレージフィールド機能進化型ストリーミング学習(SF$2$EL)を提案する。
我々のフレームワークは、ラベルのないデータで機能進化可能なストリームを学習する際に、その振る舞いを異なるストレージ予算に適合させることができる。
論文 参考訳(メタデータ) (2020-07-22T09:08:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。