論文の概要: Dynamic Residual Classifier for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2308.13305v1
• Date: Fri, 25 Aug 2023 11:07:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-28 14:23:37.050956
• Title: Dynamic Residual Classifier for Class Incremental Learning
• Title（参考訳）: クラス増分学習のための動的残差分類器
• Authors: Xiuwei Chen, Xiaobin Chang
• Abstract要約: 古いクラスと新しいクラスの間に不均衡なサンプル番号があれば、学習はバイアスを受けることができる。 既存のCIL手法は、例えば、調整された損失やデータ再サンプリング手法など、Longtailed (LT) 認識技術を利用する。 この挑戦的なシナリオに対処するために、新しい動的残留適応(DRC)を提案する。
• 参考スコア（独自算出の注目度）: 4.02487511510606
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rehearsal strategy is widely used to alleviate the catastrophic forgetting problem in class incremental learning (CIL) by preserving limited exemplars from previous tasks. With imbalanced sample numbers between old and new classes, the classifier learning can be biased. Existing CIL methods exploit the long-tailed (LT) recognition techniques, e.g., the adjusted losses and the data re-sampling methods, to handle the data imbalance issue within each increment task. In this work, the dynamic nature of data imbalance in CIL is shown and a novel Dynamic Residual Classifier (DRC) is proposed to handle this challenging scenario. Specifically, DRC is built upon a recent advance residual classifier with the branch layer merging to handle the model-growing problem. Moreover, DRC is compatible with different CIL pipelines and substantially improves them. Combining DRC with the model adaptation and fusion (MAF) pipeline, this method achieves state-of-the-art results on both the conventional CIL and the LT-CIL benchmarks. Extensive experiments are also conducted for a detailed analysis. The code is publicly available.
• Abstract（参考訳）: リハーサル戦略は、クラスインクリメンタル学習(cil)において、過去のタスクから限られた例を保存し、破滅的な忘れる問題を緩和するために広く使われている。 古いクラスと新しいクラスの間の不均衡なサンプル番号により、分類器学習はバイアスを受けることができる。 既存のcil手法では、調整された損失やデータ再サンプリングといったロングテール(lt)認識技術を利用して、各インクリメントタスク内のデータの不均衡に対処する。 本研究では,cilにおけるデータ不均衡の動的性質を示し,この課題に対処するために,新しい動的残差分類器(drc)を提案する。 具体的には、DRCは、モデル成長問題に対処するために分岐層をマージした最近の先行残差分類器上に構築されている。 さらに、DRCは異なるCILパイプラインと互換性があり、大幅に改善されている。 DRCとモデル適応と融合(MAF)パイプラインを組み合わせることで、従来のCILとLT-CILベンチマークの両方で最先端の結果が得られる。 詳細な分析のために広範な実験も行われている。 コードは公開されている。

関連論文リスト

• Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
  本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。 提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
  論文  参考訳（メタデータ） (2024-06-11T07:32:25Z)
• Coordinated Sparse Recovery of Label Noise [2.9495895055806804]
  本研究は、ラベルノイズがインスタンス依存であるロバストな分類タスクに焦点を当てる。 協調スパース回収法(CSR)を提案する。 CSRは、モデル予測とノイズ回復を調整するために、協調行列と信頼重みを導入し、エラーリークを低減する。 CSRに基づいて,共同サンプル選択戦略を設計し,CSR+と呼ばれる包括的で強力な学習フレームワークを構築した。
  論文  参考訳（メタデータ） (2024-04-07T03:41:45Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Continual Learning with Optimal Transport based Mixture Model [17.398605698033656]
  成熟最適輸送理論(OT-MM)の優れた性質に基づくオンライン混合モデル学習手法を提案する。 提案手法は,現在の最先端のベースラインを大きく上回ることができる。
  論文  参考訳（メタデータ） (2022-11-30T06:40:29Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Learning convex regularizers satisfying the variational source condition for inverse problems [4.2917182054051]
  本稿では,データ駆動型凸正則化学習のための対向凸正則化(ACR)を提案する。 我々は,学習中の変動源条件(SC)を利用して,学習した凸正規化器に対応する変動損失を最小限に抑える。 結果として得られる正則化器 (ACR-SC) は、ACRと同等に動作するが、ACRとは異なり、定量的収束率の推定が伴う。
  論文  参考訳（メタデータ） (2021-10-24T20:05:59Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• The Devil is the Classifier: Investigating Long Tail Relation Classification with Decoupling Analysis [36.298869931803836]
  ロングテール関係分類は、ヘッドクラスがトレーニングフェーズを支配しているため、難しい問題である。 そこで本研究では,関係を自動的に集約することで,ソフトウェイトを割り当てる,注意関係ルーティング付きロバストな分類器を提案する。
  論文  参考訳（メタデータ） (2020-09-15T12:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。