論文の概要: SS-IL: Separated Softmax for Incremental Learning

• arxiv url: http://arxiv.org/abs/2003.13947v3
• Date: Tue, 21 Jun 2022 06:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-18 01:05:53.745921
• Title: SS-IL: Separated Softmax for Incremental Learning
• Title（参考訳）: SS-IL: インクリメンタルラーニングのための分離ソフトマックス
• Authors: Hongjoon Ahn, Jihwan Kwak, Subin Lim, Hyeonsu Bang, Hyojun Kim and Taesup Moon
• Abstract要約: 学習エージェントが学習データバッチの漸進的な到着から新しいクラスを継続的に学習するクラスインクリメンタルラーニング(CIL)問題を考察する。 問題の最大の課題は、破滅的な忘れ物だ。 本稿では,タスクワイド知識蒸留(TKD)と分離したソフトマックス(SS)出力層と組み合わせ,そのバイアスを解消する新たな手法として,SS-IL(Separated Softmax for Incremental Learning)を提案する。
• 参考スコア（独自算出の注目度）: 15.161214516549844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider class incremental learning (CIL) problem, in which a learning agent continuously learns new classes from incrementally arriving training data batches and aims to predict well on all the classes learned so far. The main challenge of the problem is the catastrophic forgetting, and for the exemplar-memory based CIL methods, it is generally known that the forgetting is commonly caused by the classification score bias that is injected due to the data imbalance between the new classes and the old classes (in the exemplar-memory). While several methods have been proposed to correct such score bias by some additional post-processing, e.g., score re-scaling or balanced fine-tuning, no systematic analysis on the root cause of such bias has been done. To that end, we analyze that computing the softmax probabilities by combining the output scores for all old and new classes could be the main cause of the bias. Then, we propose a new method, dubbed as Separated Softmax for Incremental Learning (SS-IL), that consists of separated softmax (SS) output layer combined with task-wise knowledge distillation (TKD) to resolve such bias. Throughout our extensive experimental results on several large-scale CIL benchmark datasets, we show our SS-IL achieves strong state-of-the-art accuracy through attaining much more balanced prediction scores across old and new classes, without any additional post-processing.
• Abstract（参考訳）: 我々は,学習エージェントが段階的な学習データバッチから新しいクラスを継続的に学習し,これまでに学習したすべてのクラスをうまく予測することを目的とした,クラスインクリメンタル学習(cil)問題を考える。 問題の主な課題は破滅的な忘れ方であり、exemplar-memoryベースのcilメソッドでは、新しいクラスと古いクラス(exemplar-memory)の間のデータの不均衡によって注入される分類スコアバイアスが一般的に引き起こされる。 スコアの再スケーリングやバランスのとれた微調整など、追加の処理によってスコアバイアスを修正するためのいくつかの方法が提案されているが、そのようなバイアスの根本原因に関する体系的な分析は行われていない。 そこで本研究では,すべての旧クラスと新クラスの出力スコアを組み合わせることで,ソフトマックス確率の計算がバイアスの主な原因となる可能性を分析した。 そこで本研究では,タスクワイド知識蒸留(TKD)と分離したソフトマックス(SS)出力層と組み合わせて,そのバイアスを解消する分離ソフトマックス(SS-IL)と呼ばれる新しい手法を提案する。 大規模cilベンチマークデータセットの広範な実験結果を通じて,ss-ilは,追加処理を行わずに,旧クラスと新クラス間でよりバランスの取れた予測スコアを得られることにより,最先端の精度を実現していることを示した。

関連論文リスト

• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
  クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。 最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。 本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T10:37:41Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• A Comparative Study of Calibration Methods for Imbalanced Class Incremental Learning [10.680349952226935]
  不均衡なデータセットから漸進的に学習する問題を考察する。 インクリメンタルな状態にまたがって古いクラスの例を格納するために、バウンダリメモリを使用します。 より単純なバニラファインチューニングは、不均衡なインクリメンタル学習アルゴリズムのための強力なバックボーンであることを示す。
  論文  参考訳（メタデータ） (2022-02-01T12:56:17Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)
• You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
  クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。 ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。 CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2021-12-11T11:44:09Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。