論文の概要: Balanced Gradient Sample Retrieval for Enhanced Knowledge Retention in Proxy-based Continual Learning

• arxiv url: http://arxiv.org/abs/2412.14430v1
• Date: Thu, 19 Dec 2024 01:08:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:30:34.939698
• Title: Balanced Gradient Sample Retrieval for Enhanced Knowledge Retention in Proxy-based Continual Learning
• Title（参考訳）: Proxy-based Continual Learningにおける知識保持性向上のためのバランスの取れたサンプル検索
• Authors: Hongye Xu, Jan Wasilewski, Bartosz Krawczyk,
• Abstract要約: 勾配を補正することで干渉を減らすことができるため、勾配に整列したサンプルが選択される。 勾配に沿ったサンプルは、タスク間の安定した共有表現を強化するために組み込まれます。 提案手法は,検索したインスタンス間の多様性を高め,パラメータ空間において優れたアライメントを実現する。
• 参考スコア（独自算出の注目度）: 5.778730972088573
• License:
• Abstract: Continual learning in deep neural networks often suffers from catastrophic forgetting, where representations for previous tasks are overwritten during subsequent training. We propose a novel sample retrieval strategy from the memory buffer that leverages both gradient-conflicting and gradient-aligned samples to effectively retain knowledge about past tasks within a supervised contrastive learning framework. Gradient-conflicting samples are selected for their potential to reduce interference by re-aligning gradients, thereby preserving past task knowledge. Meanwhile, gradient-aligned samples are incorporated to reinforce stable, shared representations across tasks. By balancing gradient correction from conflicting samples with alignment reinforcement from aligned ones, our approach increases the diversity among retrieved instances and achieves superior alignment in parameter space, significantly enhancing knowledge retention and mitigating proxy drift. Empirical results demonstrate that using both sample types outperforms methods relying solely on one sample type or random retrieval. Experiments on popular continual learning benchmarks in computer vision validate our method's state-of-the-art performance in mitigating forgetting while maintaining competitive accuracy on new tasks.
• Abstract（参考訳）: ディープニューラルネットワークにおける継続的な学習は、しばしば破滅的な忘れ込みに悩まされ、そこでは、その後のトレーニング中に以前のタスクの表現が上書きされる。 教師付きコントラスト学習フレームワーク内で過去のタスクに関する知識を効果的に保持するために,勾配分割と勾配整合の両方を利用したメモリバッファからの新たなサンプル検索戦略を提案する。 グラディエント・コンプリケート・サンプルは、勾配の再調整による干渉を減らす可能性のために選択され、過去のタスク知識を保存する。 一方、勾配に整合したサンプルは、タスク間の安定した共有表現を強化するために組み込まれている。 整列した試料から整列した試料からの勾配補正とアライメント強化とのバランスをとることにより, 抽出した試料の多様性を高め, パラメータ空間の整合性を向上し, 知識保持と緩和プロキシドリフトを著しく向上させる。 実験の結果、両方のサンプル型は1つのサンプルタイプやランダム検索にのみ依存する手法よりも優れていた。 コンピュータビジョンにおける一般的な連続学習ベンチマークの実験は、新しいタスクにおける競争精度を維持しつつ、忘れを軽減し、我々の手法の最先端性能を検証する。

関連論文リスト

• Contrastive Continual Learning with Importance Sampling and Prototype-Instance Relation Distillation [14.25441464051506]
  本稿では,従来のデータ分布を復元し,知識の保存を目的としたコントラスト連続学習(Contrastive Continual Learning via Importance Smpling, CCLIS)を提案する。 また,プロトタイプとサンプル表現の関係を維持する技術であるPRD(Prototype-instance Relation Distillation)の損失について述べる。
  論文  参考訳（メタデータ） (2024-03-07T15:47:52Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Improving Replay-Based Continual Semantic Segmentation with Smart Data Selection [0.0]
  セマンティックセグメンテーションにおける様々なリプレイ戦略の影響について検討し,クラス・インクリメンタル・セッティングとドメイン・インクリメンタル・セッティングで評価する。 本研究は,クラス増分設定において,バッファ内の異なるクラスに対して一様分布を実現することが重要であることを示唆する。 ドメインインクリメンタルな設定では、学習した特徴表現の分布から一様にサンプリングしたり、中央値のエントロピーを持つサンプルを選択することでバッファサンプルを選択することが最も効果的である。
  論文  参考訳（メタデータ） (2022-09-20T16:32:06Z)
• SURF: Semi-supervised Reward Learning with Data Augmentation for Feedback-efficient Preference-based Reinforcement Learning [168.89470249446023]
  我々は、大量のラベルなしサンプルとデータ拡張を利用する半教師付き報酬学習フレームワークSURFを提案する。 報奨学習にラベルのないサンプルを活用するために,選好予測器の信頼性に基づいてラベルのないサンプルの擬似ラベルを推定する。 本実験は, ロボット操作作業における嗜好に基づく手法のフィードバック効率を有意に向上させることを実証した。
  論文  参考訳（メタデータ） (2022-03-18T16:50:38Z)
• Semi-supervised Long-tailed Recognition using Alternate Sampling [95.93760490301395]
  ロングテール認識の主な課題は、データ分布の不均衡とテールクラスにおけるサンプル不足である。 半教師付き長尾認識という新しい認識設定を提案する。 2つのデータセットで、他の競合方法よりも大幅な精度向上を実証します。
  論文  参考訳（メタデータ） (2021-05-01T00:43:38Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Semi-Discriminative Representation Loss for Online Continual Learning [16.414031859647874]
  勾配に基づくアプローチは、コンパクトなエピソードメモリをより効率的に活用するために開発されている。 本稿では,SDRL(Semi-Discriminative Representation Loss)という,連続学習のための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2020-06-19T17:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。