論文の概要: Defying Imbalanced Forgetting in Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2403.14910v1
• Date: Fri, 22 Mar 2024 02:06:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-25 18:47:18.225718
• Title: Defying Imbalanced Forgetting in Class Incremental Learning
• Title（参考訳）: 授業インクリメンタルラーニングにおける不均衡フォーミングの回避
• Authors: Shixiong Xu, Gaofeng Meng, Xing Nie, Bolin Ni, Bin Fan, Shiming Xiang,
• Abstract要約: 我々は,同じ古いタスクにおいて,異なるクラスの精度の高レベルの不均衡を初めて観察する。 この現象は、破滅的な忘れ物が起こる前にその正確さが似ているため、学習クラスの不均衡な忘れ物が強調される。 我々は,忘れられやすい古いクラスを予測し,その精度を高めるためにCLass-Aware Disentanglementを提案する。
• 参考スコア（独自算出の注目度）: 36.86621106579673
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We observe a high level of imbalance in the accuracy of different classes in the same old task for the first time. This intriguing phenomenon, discovered in replay-based Class Incremental Learning (CIL), highlights the imbalanced forgetting of learned classes, as their accuracy is similar before the occurrence of catastrophic forgetting. This discovery remains previously unidentified due to the reliance on average incremental accuracy as the measurement for CIL, which assumes that the accuracy of classes within the same task is similar. However, this assumption is invalid in the face of catastrophic forgetting. Further empirical studies indicate that this imbalanced forgetting is caused by conflicts in representation between semantically similar old and new classes. These conflicts are rooted in the data imbalance present in replay-based CIL methods. Building on these insights, we propose CLass-Aware Disentanglement (CLAD) to predict the old classes that are more likely to be forgotten and enhance their accuracy. Importantly, CLAD can be seamlessly integrated into existing CIL methods. Extensive experiments demonstrate that CLAD consistently improves current replay-based methods, resulting in performance gains of up to 2.56%.
• Abstract（参考訳）: 我々は,同じ古いタスクにおいて,異なるクラスの精度の高レベルの不均衡を初めて観察する。 この興味深い現象は、リプレイベースのClass Incremental Learning (CIL)で発見され、破滅的な忘れ事が起こる前にその正確さが類似していることから、学習したクラスの不均衡な忘れ事を強調している。 この発見は、CILの測定値として平均的なインクリメンタルな精度に依存するため、これまでも不明であり、同じタスク内のクラスの精度が類似していると仮定している。 しかし、この仮定は破滅的な忘れ込みに直面して無効である。 さらなる実証的研究は、この不均衡な忘れは意味論的に類似した古いクラスと新しいクラスの間の表象の衝突によって引き起こされることを示している。 これらの競合は、リプレイベースのCILメソッドに存在するデータ不均衡に根ざしている。 これらの知見に基づいてCLAD(CLass-Aware Disentanglement)を提案する。 重要なことに、CLADは既存のCILメソッドにシームレスに統合できる。 大規模な実験の結果、CLADは現在のリプレイベースの手法を一貫して改善し、パフォーマンスは2.56%向上した。

関連論文リスト

• Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning [2.395881636777087]
  クラスバランス学習においても弱いクラスが一貫して存在することを観察する。 クラス間精度の差は、FashionMNISTとCIFAR-10データセットのフェデレーション学習で36.9%以上に達する。 本稿では,弱いクラスの分類精度を向上させるために,クラス固有の部分的知識蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-11-23T01:16:46Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Uncertainty-guided Boundary Learning for Imbalanced Social Event Detection [64.4350027428928]
  本研究では,不均衡なイベント検出タスクのための不確実性誘導型クラス不均衡学習フレームワークを提案する。 我々のモデルは、ほとんど全てのクラス、特に不確実なクラスにおいて、社会イベントの表現と分類タスクを大幅に改善する。
  論文  参考訳（メタデータ） (2023-10-30T03:32:04Z)
• Queried Unlabeled Data Improves and Robustifies Class-Incremental Learning [133.39254981496146]
  クラス増分学習(Class-incremental Learning, CIL)は、新たに追加されたクラスを学習することと、以前に学習したクラス知識を保存することの間の悪名高いジレンマに悩まされる。 我々は、連続学習において「自由」な外部ラベル付きデータクエリを活用することを提案する。 CIL-QUDを堅牢化したバージョンにシームレスに拡張する。
  論文  参考訳（メタデータ） (2022-06-15T22:53:23Z)
• Prototypical Classifier for Robust Class-Imbalanced Learning [64.96088324684683]
  埋め込みネットワークに付加的なパラメータを必要としないtextitPrototypealを提案する。 プロトタイプは、訓練セットがクラス不均衡であるにもかかわらず、すべてのクラスに対してバランスと同等の予測を生成する。 我々は, CIFAR-10LT, CIFAR-100LT, Webvision のデータセットを用いて, プロトタイプが芸術の状況と比較した場合, サブスタンスの改善が得られることを検証した。
  論文  参考訳（メタデータ） (2021-10-22T01:55:01Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• Re-Assessing the "Classify and Count" Quantification Method [88.60021378715636]
  分類とカウント(CC)は、しばしば偏りのある推定器である。 以前の作業では、CCの適切に最適化されたバージョンを適切に使用できなかった。 最先端の手法に劣っているものの、ほぼ最先端の精度を実現している、と我々は主張する。
  論文  参考訳（メタデータ） (2020-11-04T21:47:39Z)
• SS-IL: Separated Softmax for Incremental Learning [15.161214516549844]
  学習エージェントが学習データバッチの漸進的な到着から新しいクラスを継続的に学習するクラスインクリメンタルラーニング(CIL)問題を考察する。 問題の最大の課題は、破滅的な忘れ物だ。 本稿では,タスクワイド知識蒸留(TKD)と分離したソフトマックス(SS)出力層と組み合わせ,そのバイアスを解消する新たな手法として,SS-IL(Separated Softmax for Incremental Learning)を提案する。
  論文  参考訳（メタデータ） (2020-03-31T04:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。