論文の概要: A Comparative Study of Calibration Methods for Imbalanced Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2202.00386v1
• Date: Tue, 1 Feb 2022 12:56:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-02 19:05:57.659388
• Title: A Comparative Study of Calibration Methods for Imbalanced Class Incremental Learning
• Title（参考訳）: 不均衡クラスインクリメンタル学習における校正法の比較検討
• Authors: Umang Aggarwal, Adrian Popescu, Eden Belouadah and C\'eline Hudelot
• Abstract要約: 不均衡なデータセットから漸進的に学習する問題を考察する。 インクリメンタルな状態にまたがって古いクラスの例を格納するために、バウンダリメモリを使用します。 より単純なバニラファインチューニングは、不均衡なインクリメンタル学習アルゴリズムのための強力なバックボーンであることを示す。
• 参考スコア（独自算出の注目度）: 10.680349952226935
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning approaches are successful in a wide range of AI problems and in particular for visual recognition tasks. However, there are still open problems among which is the capacity to handle streams of visual information and the management of class imbalance in datasets. Existing research approaches these two problems separately while they co-occur in real world applications. Here, we study the problem of learning incrementally from imbalanced datasets. We focus on algorithms which have a constant deep model complexity and use a bounded memory to store exemplars of old classes across incremental states. Since memory is bounded, old classes are learned with fewer images than new classes and an imbalance due to incremental learning is added to the initial dataset imbalance. A score prediction bias in favor of new classes appears and we evaluate a comprehensive set of score calibration methods to reduce it. Evaluation is carried with three datasets, using two dataset imbalance configurations and three bounded memory sizes. Results show that most calibration methods have beneficial effect and that they are most useful for lower bounded memory sizes, which are most interesting in practice. As a secondary contribution, we remove the usual distillation component from the loss function of incremental learning algorithms. We show that simpler vanilla fine tuning is a stronger backbone for imbalanced incremental learning algorithms.
• Abstract（参考訳）: ディープラーニングのアプローチは、幅広いai問題、特に視覚認識タスクで成功しています。 しかし、視覚情報のストリームを処理する能力とデータセットにおけるクラス不均衡の管理には、まだ未解決の問題がある。 既存の研究は、これら2つの問題を現実の応用で共起しながら別々にアプローチしている。 本稿では、不均衡なデータセットから漸進的に学習する問題を考察する。 我々は、一定の深層モデル複雑性を持つアルゴリズムに焦点をあて、インクリメンタルな状態にまたがる古いクラスの例を記憶するために境界メモリを使用する。 メモリは境界なので、古いクラスは新しいクラスよりも少ないイメージで学習され、インクリメンタルな学習による不均衡が初期データセットの不均衡に追加される。 新しいクラスを選好するスコア予測バイアスが出現し、それを減らすためのスコア校正手法の包括的なセットを評価する。 評価は3つのデータセットで行われ、2つのデータセットの不均衡構成と3つの境界メモリサイズを使用する。 その結果,ほとんどのキャリブレーション手法は有効であり,メモリサイズが小さい場合に最も有用であることが示唆された。 二次的貢献として,通常蒸留成分をインクリメンタル学習アルゴリズムの損失関数から除去する。 非バランスなインクリメンタル学習アルゴリズムにとって,よりシンプルなバニラ微調整がより強固なバックボーンであることを示す。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• ClaRe: Practical Class Incremental Learning By Remembering Previous Class Representations [9.530976792843495]
  クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。 ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。 ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
  論文  参考訳（メタデータ） (2021-03-29T10:39:42Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)
• ScaIL: Classifier Weights Scaling for Class Incremental Learning [12.657788362927834]
  ディープラーニングのアプローチでは、一定の計算予算は、すべてのインクリメンタルな状態に対して固定されたアーキテクチャを使用する必要がある。 境界メモリは、新しいクラスに有利なデータ不均衡を生成し、それらに対する予測バイアスが現れる。 過去のクラス分類器の重み付けを,新しいクラスに匹敵するものにするために,単純かつ効率的なスケーリングを提案する。
  論文  参考訳（メタデータ） (2020-01-16T12:10:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。