論文の概要: Understanding Imbalanced Forgetting in Rehearsal-Based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2605.14785v1
• Date: Thu, 14 May 2026 12:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-15 21:45:34.828792
• Title: Understanding Imbalanced Forgetting in Rehearsal-Based Class-Incremental Learning
• Title（参考訳）: リハーサルに基づくクラスインクリメンタルラーニングにおける不均衡フォーミングの理解
• Authors: Alberto Tamajo, Srinandan Dasmahapatra, Rahman Attar,
• Abstract要約: ニューラルネットワークは、クラスインクリメンタルインバランス(CIL)の設定を忘れてしまう破滅的な問題に悩まされる。 この研究は、リハーサルにおける忘れ忘れとひどく忘れることを示している。 結果は1つの係数$の解釈をサポートし、相互作用をもっともらしいものとして忘れる。 発見は価値ある洞察を与え、不均衡を緩和するための方向性を提案する。
• 参考スコア（独自算出の注目度）: 6.528424907236176
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks suffer from catastrophic forgetting in class-incremental learning (CIL) settings. Rehearsal$\unicode{x2013}$replaying a subset of past samples$\unicode{x2013}$is a well-established mitigation strategy. However, recent results suggest that, despite balanced rehearsal allocation, some classes are forgotten substantially more than others. Despite its relevance, this imbalanced forgetting phenomenon remains underexplored. This work shows that imbalanced forgetting arises systematically and severely in rehearsal-based CIL and investigates it extensively. Specifically, we construct, from a principled analysis, three last-layer coefficients that capture different gradient-level sources of interference affecting each past class during an incremental step. We then demonstrate that, together, they reliably predict how past classes will rank in terms of forgetting at the end of that step. While predictive performance alone does not establish causality, these results support the interpretation of the coefficients as a plausible mechanistic account linking last-layer gradient-level interactions during training to class-level forgetting outcomes. Notably, one coefficient$\unicode{x2013}$capturing self-induced interference$\unicode{x2013}$emerges as the strongest predictor, with controlled experiments providing evidence consistent with this coefficient being influenced by the new-class interference coefficient. Overall, our findings provide valuable insights and suggest promising directions for mitigating imbalanced forgetting by reducing class-wise disparities in the identified sources of interference.
• Abstract（参考訳）: ニューラルネットワークは、クラスインクリメンタルラーニング(CIL)設定において破滅的な忘れに苦しむ。 Rehearsal$\unicode{x2013}$replaying a subset of past sample$\unicode{x2013}$is a well- establisheded mitigation strategy。 しかし、最近の結果は、バランスの取れたリハーサルアロケーションにもかかわらず、一部のクラスは他のクラスよりも大幅に忘れられていることを示唆している。 その関連性にもかかわらず、この不均衡な忘れ物現象は未解明のままである。 この研究は、リハーサルベースのCILにおいて、不均衡な忘れが体系的かつ深刻に発生し、それを広範囲に調査することを示している。 具体的には、各過去のクラスに影響を及ぼす干渉の勾配レベルの異なるソースをインクリメンタルステップでキャプチャする3つの最終層係数を原理解析により構築する。 そして私たちは、一緒にして、そのステップの最後に忘れることに関して、過去のクラスがどのようにランクされるかを確実に予測します。 予測性能だけでは因果関係は確立しないが、これらの結果は、トレーニング中の最終層勾配レベルの相互作用とクラスレベルの忘れる結果とをリンクする、妥当な機械的説明として係数の解釈を支持する。 特に、1つの係数$\unicode{x2013}$capturing self-induced interference$\unicode{x2013}$emergesを最強の予測子とし、この係数と一致する証拠を与える制御実験は、新しいクラスの干渉係数の影響を受けている。 全体として,本研究で得られた知見は,特定された干渉源の階級的差異を低減し,不均衡な忘れを緩和するための有望な方向性を示唆するものである。

関連論文リスト

• Deconfounding Scores and Representation Learning for Causal Effect Estimation with Weak Overlap [75.41420283374737]
  オーバーラップは因果治療効果推定の鍵となる条件である。 本稿では,デコンウンディングスコア(deconfounding scores)と呼ばれる特徴表現のクラスを提案する。 このクラスでは, 予後スコアが重なり合うことを示す。
  論文  参考訳（メタデータ） (2026-04-01T12:19:42Z)
• Class Confidence Aware Reweighting for Long Tailed Learning [0.8297806372438926]
  本稿では,長期学習のためのクラスの設計と信頼性を考慮した再重み付け手法を提案する。 我々は、(p_t,f_c)関数を用いて、予測の信頼性値に基づいて、トレーニングタスクに対するコントリビューションの変調を可能にする。
  論文  参考訳（メタデータ） (2026-01-22T12:58:05Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• A Unified Generalization Analysis of Re-Weighting and Logit-Adjustment for Imbalanced Learning [129.63326990812234]
  そこで本研究では,データ依存型コンダクタンス(Data-dependent contraction)と呼ばれる手法を提案する。 この技術に加えて、不均衡学習のための微粒な一般化境界が確立され、再重み付けとロジット調整の謎を明らかにするのに役立つ。
  論文  参考訳（メタデータ） (2023-10-07T09:15:08Z)
• A Theoretical Analysis of the Learning Dynamics under Class Imbalance [0.10231119246773925]
  本研究では,少数クラスと多数クラスの学習曲線が,勾配に基づく学習において,準最適軌跡に従うことを示す。 この減速は不均衡比に関連しており、異なるクラスの最適化の競合に遡ることができる。 GDはクラスごとの損失を減らすことは保証されていないが、勾配のクラスごとの正規化を行うことでこの問題に対処できる。
  論文  参考訳（メタデータ） (2022-07-01T12:54:38Z)
• An Intermediate-level Attack Framework on The Basis of Linear Regression [89.85593878754571]
  本論文はECCVにおいて,いくつかのベースライン対向例の転送性を改善するため,中間レベルアタック(中間レベルアタック)を提案し,本研究を実質的に拡張するものである。 我々は,中間レベルの相違点(対角的特徴と良性的特徴)から,対角的例の分類的損失への直接的な線形写像の確立を提唱する。 1) 様々な線形回帰モデルがマッピングを確立するために考慮可能であること,2) 最終的に得られた中間レベル差の大きさが逆転率と線形に相関していること,3) ベースラインアタックを複数回実行することで,さらなる性能向上が達成できること,などが示される。
  論文  参考訳（メタデータ） (2022-03-21T03:54:53Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。