論文の概要: Continual Learning: Less Forgetting, More OOD Generalization via Adaptive Contrastive Replay
- arxiv url: http://arxiv.org/abs/2410.07110v1
- Date: Wed, 9 Oct 2024 17:45:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-31 22:27:10.034611
- Title: Continual Learning: Less Forgetting, More OOD Generalization via Adaptive Contrastive Replay
- Title（参考訳）: 継続的な学習: 忘れることの少ない,適応的コントラストリプレイによるOOD一般化
- Authors: Hossein Rezaei, Mohammad Sabokrou,
- Abstract要約: 機械学習モデルは、新しいクラスを学ぶ際に、以前に学んだ知識を忘れてしまうことも多い。
リハーサルベースの学習(rehearsal-based learning)は、以前のクラスからのサンプルを保持するが、通常はパフォーマンスが良く、特定のインスタンスを記憶する傾向がある。
これはしばしば高い忘れ込み率と低い一般化につながる。
コントラスト学習とデータ中心の原則に着想を得た,シンプルで効果的な戦略を提案する。
- 参考スコア（独自算出の注目度）: 11.004445702983654
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning models often suffer from catastrophic forgetting of previously learned knowledge when learning new classes. Various methods have been proposed to mitigate this issue. However, rehearsal-based learning, which retains samples from previous classes, typically achieves good performance but tends to memorize specific instances, struggling with Out-of-Distribution (OOD) generalization. This often leads to high forgetting rates and poor generalization. Surprisingly, the OOD generalization capabilities of these methods have been largely unexplored. In this paper, we highlight this issue and propose a simple yet effective strategy inspired by contrastive learning and data-centric principles to address it. We introduce Adaptive Contrastive Replay (ACR), a method that employs dual optimization to simultaneously train both the encoder and the classifier. ACR adaptively populates the replay buffer with misclassified samples while ensuring a balanced representation of classes and tasks. By refining the decision boundary in this way, ACR achieves a balance between stability and plasticity. Our method significantly outperforms previous approaches in terms of OOD generalization, achieving an improvement of 13.41\% on Split CIFAR-100, 9.91\% on Split Mini-ImageNet, and 5.98\% on Split Tiny-ImageNet.
- Abstract（参考訳）: 機械学習モデルは、新しいクラスを学ぶ際に、以前に学んだ知識を忘れてしまうことも多い。
この問題を緩和するために様々な方法が提案されている。
しかし、従来の授業のサンプルを保持するリハーサルベースの学習は、通常、優れたパフォーマンスを達成できるが、特定のインスタンスを記憶し、アウト・オブ・ディストリビューション(OOD)の一般化に苦慮する傾向にある。
これはしばしば高い忘れ込み率と低い一般化につながる。
驚くべきことに、これらの手法のOOD一般化能力はほとんど解明されていない。
本稿では,この問題に焦点をあて,これを解決するための対照的な学習とデータ中心の原則に着想を得た,シンプルで効果的な戦略を提案する。
本稿では,アダプティブ・コントラスト・リプレイ(ACR, Adaptive Contrastive Replay)を提案する。
ACRは、クラスとタスクのバランスの取れた表現を確保しながら、誤って分類されたサンプルでリプレイバッファを適応的にポップアップさせる。
このようにして決定境界を精製することにより、ACRは安定性と可塑性のバランスを達成する。
提案手法は従来のOOD一般化手法よりも優れており,スプリット CIFAR-100 では 13.41 %,スプリット Mini-ImageNet では 9.91 %,スプリット Tiny-ImageNet では 5.98 % の改善が達成されている。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳（メタデータ） (2023-03-09T08:57:01Z) - SAGE: Saliency-Guided Mixup with Optimal Rearrangements [22.112463794733188]
最適リアレンジメント(SAGE)を用いたサリエンシ誘導混合
SAGEは、ビジュアル・サリエンシをガイダンスとして、イメージペアを並べ替え、混合することで、新しいトレーニング例を作成する。
我々は, CIFAR-10 と CIFAR-100 について, SAGE がより効率的でありながら, より優れた性能と同等の性能を達成できることを実証した。
論文 参考訳（メタデータ） (2022-10-31T19:45:21Z) - Sparsity Winning Twice: Better Robust Generalization from More Efficient
Training [94.92954973680914]
スパース対位訓練の代替として, (i) スタティック・スパシティと (ii) ダイナミック・スパシティの2つを紹介した。
いずれの方法も、ロバストな一般化ギャップを大幅に縮小し、ロバストなオーバーフィッティングを緩和する。
我々のアプローチは既存の正規化器と組み合わせて、敵の訓練における新たな最先端の成果を確立することができる。
論文 参考訳（メタデータ） (2022-02-20T15:52:08Z) - Ortho-Shot: Low Displacement Rank Regularization with Data Augmentation
for Few-Shot Learning [23.465747123791772]
少数の分類において、第一の目的は、新しいクラスをうまく一般化する表現を学ぶことである。
オルソショット(Ortho-Shot)と呼ばれる効率的な低変位ランク(LDR)正規化戦略を提案する。
論文 参考訳（メタデータ） (2021-10-18T14:58:36Z) - Self-Damaging Contrastive Learning [92.34124578823977]
ラベルのないデータは一般に不均衡であり、長い尾の分布を示す。
本稿では,クラスを知らずに表現学習を自動的にバランスをとるための,自己学習コントラスト学習という原則的枠組みを提案する。
実験の結果,SDCLRは全体としての精度だけでなく,バランス性も著しく向上することがわかった。
論文 参考訳（メタデータ） (2021-06-06T00:04:49Z) - IB-DRR: Incremental Learning with Information-Back Discrete
Representation Replay [4.8666876477091865]
インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。
以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。
しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
論文 参考訳（メタデータ） (2021-04-21T15:32:11Z) - Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。
まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。
第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-01-20T11:48:12Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳（メタデータ） (2020-12-15T07:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。