論文の概要: ErrorEraser: Unlearning Data Bias for Improved Continual Learning

• arxiv url: http://arxiv.org/abs/2506.09347v1
• Date: Wed, 11 Jun 2025 02:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:02.255764
• Title: ErrorEraser: Unlearning Data Bias for Improved Continual Learning
• Title（参考訳）: ErrorEraser: 継続的学習を改善するための非学習データバイアス
• Authors: Xuemei Cao, Hanlin Gu, Xin Yang, Bingjun Wei, Haoyang Liang, Xiangkun Wang, Tianrui Li,
• Abstract要約: 継続的な学習は主に、破滅的な忘れ込みを防ぎ、新しいタスクの学習を容易にするために知識を伝達することを目的としている。 CLのバイアスによる誤記憶を除去する汎用プラグインであるErrorEraserを提案する。 ErrorEraserは、データバイアスの負の影響を著しく軽減し、3種類のCLメソッド間で高い精度と低い忘れ率を達成する。
• 参考スコア（独自算出の注目度）: 7.812604562865828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual Learning (CL) primarily aims to retain knowledge to prevent catastrophic forgetting and transfer knowledge to facilitate learning new tasks. Unlike traditional methods, we propose a novel perspective: CL not only needs to prevent forgetting, but also requires intentional forgetting.This arises from existing CL methods ignoring biases in real-world data, leading the model to learn spurious correlations that transfer and amplify across tasks. From feature extraction and prediction results, we find that data biases simultaneously reduce CL's ability to retain and transfer knowledge. To address this, we propose ErrorEraser, a universal plugin that removes erroneous memories caused by biases in CL, enhancing performance in both new and old tasks. ErrorEraser consists of two modules: Error Identification and Error Erasure. The former learns the probability density distribution of task data in the feature space without prior knowledge, enabling accurate identification of potentially biased samples. The latter ensures only erroneous knowledge is erased by shifting the decision space of representative outlier samples. Additionally, an incremental feature distribution learning strategy is designed to reduce the resource overhead during error identification in downstream tasks. Extensive experimental results show that ErrorEraser significantly mitigates the negative impact of data biases, achieving higher accuracy and lower forgetting rates across three types of CL methods. The code is available at https://github.com/diadai/ErrorEraser.
• Abstract（参考訳）: 継続的な学習(CL)は、主に、破滅的な忘れ込みや、新しいタスクの学習を容易にするための知識の伝達を防ぐために、知識を維持することを目的としている。 従来の手法とは違って、CLは忘れることを防ぐだけでなく、故意に忘れることも必要としており、これは実世界のデータに偏りを無視する既存のCLメソッドから発生し、タスク間で伝達し増幅する素早い相関を学習する。 特徴抽出と予測結果から,データのバイアスがCLの知識の保持と伝達能力を同時に減少させることがわかった。 この問題を解決するために,CLのバイアスによる誤記憶を除去し,新しいタスクと古いタスクの両方のパフォーマンスを向上させるユニバーサルプラグインであるErrorEraserを提案する。 ErrorEraserは、Error IdentificationとError Erasureの2つのモジュールで構成されている。 前者は、事前知識のない特徴空間におけるタスクデータの確率密度分布を学習し、潜在的な偏りのあるサンプルの正確な同定を可能にする。 後者は、代表外乱サンプルの決定空間をシフトすることで、誤った知識のみを消去することを保証する。 さらに、下流タスクにおけるエラー識別時のリソースオーバーヘッドを低減するために、インクリメンタルな機能分散学習戦略が設計されている。 ErrorEraserはデータバイアスの負の影響を著しく軽減し、3種類のCL法で高い精度と低い忘れ率を実現している。 コードはhttps://github.com/diadai/ErrorEraser.comで入手できる。

関連論文リスト

• BiasPruner: Debiased Continual Learning for Medical Image Classification [20.6029805375464]
  BiasPrunerは、学習のショートカットにつながる可能性のあるトレーニングデータの素早い相関を意図的に忘れるCLフレームワークである。 推論中、BiasPrunerは、予測に最適なバイアス付きサブネットワークを選択するために、単純なタスクに依存しないアプローチを採用している。 皮膚病変分類と胸部X線分類の3つの医学データセットについて実験を行い,BiasPrunerがSOTA CL法を常に上回っていることを示す。
  論文  参考訳（メタデータ） (2024-07-11T15:45:57Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• Continual Learning in the Presence of Spurious Correlation [23.999136417157597]
  標準的な連続学習アルゴリズムは、前も後ろも、あるタスクから別のタスクへバイアスを転送できることを示す。 グループクラスバランスグレーディサンプリング (Group-class Balanced Greedy Sampling, BGS) と呼ばれる,デバイアス対応連続学習のためのプラグイン手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T14:06:12Z)
• Prototypes-Guided Memory Replay for Continual Learning [13.459792148030717]
  継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。 CLの最大の難しさは、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。 オンラインメタ学習モデルに組み込んだメモリ効率の高いCL手法を提案する。
  論文  参考訳（メタデータ） (2021-08-28T13:00:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。