論文の概要: Prototype-Based Continual Learning with Label-free Replay Buffer and Cluster Preservation Loss

• arxiv url: http://arxiv.org/abs/2504.07240v1
• Date: Wed, 09 Apr 2025 19:26:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 12:20:01.177831
• Title: Prototype-Based Continual Learning with Label-free Replay Buffer and Cluster Preservation Loss
• Title（参考訳）: ラベルなしリプレイバッファとクラスタ保存損失を用いたプロトタイプベース連続学習
• Authors: Agil Aghasanli, Yi Li, Plamen Angelov,
• Abstract要約: 連続学習技術は、単純なリプレイサンプル選択プロセスを使用し、その後のタスクでそれらを使用する。 本稿では,ラベルのないプロトタイプを自動的に選択することで,これから離れる。 クラスインクリメンタルとドメインインクリメンタルのシナリオでは、"Push-away"と"pull-toward"のメカニズムも導入されている。
• 参考スコア（独自算出の注目度）: 3.824522034247845
• License:
• Abstract: Continual learning techniques employ simple replay sample selection processes and use them during subsequent tasks. Typically, they rely on labeled data. In this paper, we depart from this by automatically selecting prototypes stored without labels, preserving cluster structures in the latent space across tasks. By eliminating label dependence in the replay buffer and introducing cluster preservation loss, it is demonstrated that the proposed method can maintain essential information from previously encountered tasks while ensuring adaptation to new tasks. "Push-away" and "pull-toward" mechanisms over previously learned prototypes are also introduced for class-incremental and domain-incremental scenarios. These mechanisms ensure the retention of previously learned information as well as adaptation to new classes or domain shifts. The proposed method is evaluated on several benchmarks, including SplitCIFAR100, SplitImageNet32, SplitTinyImageNet, and SplitCaltech256 for class-incremental, as well as R-MNIST and CORe50 for domain-incremental setting using pre-extracted DINOv2 features. Experimental results indicate that the label-free replay-based technique outperforms state-of-the-art continual learning methods and, in some cases, even surpasses offline learning. An unsupervised variant of the proposed technique for the class-incremental setting, avoiding labels use even on incoming data, also demonstrated competitive performance, outperforming particular supervised baselines in some cases. These findings underscore the effectiveness of the proposed framework in retaining prior information and facilitating continual adaptation.
• Abstract（参考訳）: 連続学習技術は、単純なリプレイサンプル選択プロセスを使用し、その後のタスクでそれらを使用する。 通常、ラベル付きデータに依存する。 本稿では,ラベルなしで格納されたプロトタイプを自動的に選択し,タスクをまたいだ潜在空間におけるクラスタ構造を保存することによって,これから離れる。 リプレイバッファのラベル依存を排除し、クラスタ保存損失を発生させることにより、提案手法は、新しいタスクへの適応を確保しつつ、以前に遭遇したタスクから必須情報を維持できることを実証した。 クラスインクリメンタルとドメインインクリメンタルのシナリオでは、以前に学習したプロトタイプよりも"プッシュアウェイ"と"プルトワード"のメカニズムが導入された。 これらのメカニズムは、学習済みの情報の保持と、新しいクラスやドメインシフトへの適応を保証する。 提案手法は,クラスインクリメンタルのためのSplitCIFAR100,SplitImageNet32,SplitTinyImageNet,SplitCaltech256,事前抽出したDINOv2特徴を用いたドメインインクリメンタル設定のためのR-MNIST,CORe50など,いくつかのベンチマークで評価されている。 実験結果から,ラベルフリーのリプレイベース手法は,最先端の継続的学習手法よりも優れており,場合によってはオフライン学習よりも優れていることが示唆された。 提案手法の教師なし変種として,受信データにもラベルを使用せず,特定の教師付きベースラインよりも優れた競合性能を示した。 これらの知見は,事前情報を保持し,継続的な適応を促進する上で,提案手法の有効性を裏付けるものである。

関連論文リスト

• Enhancing Hyperspectral Image Prediction with Contrastive Learning in Low-Label Regime [0.810304644344495]
  自己教師付きコントラスト学習は、限られたラベル付きデータの課題に対処するための効果的なアプローチである。 単一ラベルと複数ラベルの分類タスクに対して,本手法の性能を評価する。
  論文  参考訳（メタデータ） (2024-10-10T10:20:16Z)
• Replay Consolidation with Label Propagation for Continual Object Detection [7.454468349023651]
  継続学習は、以前獲得した知識を覚えながら、新しいデータを学ぶことを目的としている。 このシナリオでは、以前のタスクからのイメージには、将来のタスクでラベル付けされているように再現れる可能性のある未知のクラスのインスタンスが含まれる可能性がある。 本稿では,リプレイ・コンソリデーション (Replay Consolidation with Label propagation for Object Detection) と呼ばれる新しい手法による蒸留方式の代替案を提案する。
  論文  参考訳（メタデータ） (2024-09-09T14:16:27Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Prototype-Sample Relation Distillation: Towards Replay-Free Continual Learning [14.462797749666992]
  本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。 本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。 この手法はタスクインクリメンタル設定における最先端性能を得る。
  論文  参考訳（メタデータ） (2023-03-26T16:35:45Z)
• Tackling Online One-Class Incremental Learning by Removing Negative Contrasts [12.048166025000976]
  他の連続的な学習設定とは違い、学習者は1回だけ新しいサンプルが提示される。 ER-AMLは、入力データと再生データにコントラスト学習に基づく非対称な損失を適用することにより、この設定で強い性能を達成した。 我々は、教師付き学習から教師付き学習環境へ、最近提案されたアプローチを適応させ、コントラストの制約を解き放つ。
  論文  参考訳（メタデータ） (2022-03-24T19:17:29Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification [51.98150752331922]
  Unsupervised Domain Adaptive (UDA) Person Re-identification (再ID) は、ターゲットドメインデータのラベルが欠落しているため、難しい作業です。 オフラインクラスタリングフェーズにおける擬似ラベルとオンライントレーニングフェーズにおける特徴を共同で改良する,デュアルリファインメントと呼ばれる新しいアプローチを提案する。 本手法は最先端手法を大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2020-12-26T07:35:35Z)
• Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
  本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。 摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。 実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
  論文  参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。