論文の概要: Discriminative Distillation to Reduce Class Confusion in Continual Learning

• arxiv url: http://arxiv.org/abs/2108.05187v1
• Date: Wed, 11 Aug 2021 12:46:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-12 13:27:43.083810
• Title: Discriminative Distillation to Reduce Class Confusion in Continual Learning
• Title（参考訳）: 連続学習におけるクラス混乱低減のための識別蒸留
• Authors: Changhong Zhong, Zhiying Cui, Ruixuan Wang, and Wei-Shi Zheng
• Abstract要約: クラス混乱は、連続学習における分類性能の低下に寄与する。 本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
• 参考スコア（独自算出の注目度）: 57.715862676788156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Successful continual learning of new knowledge would enable intelligent systems to recognize more and more classes of objects. However, current intelligent systems often fail to correctly recognize previously learned classes of objects when updated to learn new classes. It is widely believed that such downgraded performance is solely due to the catastrophic forgetting of previously learned knowledge. In this study, we argue that the class confusion phenomena may also play a role in downgrading the classification performance during continual learning, i.e., the high similarity between new classes and any previously learned classes would also cause the classifier to make mistakes in recognizing these old classes, even if the knowledge of these old classes is not forgotten. To alleviate the class confusion issue, we propose a discriminative distillation strategy to help the classify well learn the discriminative features between confusing classes during continual learning. Experiments on multiple natural image classification tasks support that the proposed distillation strategy, when combined with existing methods, is effective in further improving continual learning.
• Abstract（参考訳）: 新しい知識の継続的な学習が成功すれば、インテリジェントなシステムがより多くのオブジェクトのクラスを認識できるようになる。 しかし、現在のインテリジェントシステムは、新しいクラスを学ぶために更新されたオブジェクトの以前の学習されたクラスを正しく認識できないことが多い。 このような性能低下は、それまでの知識の破滅的な忘れ込みによるものであると広く信じられている。 本研究は,クラス混同現象が,継続学習における分類性能の低下,すなわち,新しいクラスと以前に学習したクラスとの高い類似性が,旧クラスの知識を忘れていなくても,これらの古いクラスを認識する際に,分類者が誤りを犯す可能性があることを論じる。 クラス混乱を緩和するために, 連続学習中にクラス間における識別的特徴をよく学習するための識別的蒸留戦略を提案する。 複数の自然画像分類タスクの実験では,提案した蒸留戦略と既存手法を組み合わせることで,継続学習のさらなる向上が期待できる。

関連論文リスト

• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Multi-Granularity Regularized Re-Balancing for Class Incremental Learning [32.52884416761171]
  ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。 古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。 この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T11:04:51Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
  末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。 我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。 実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-12-13T15:48:59Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)
• Essentials for Class Incremental Learning [43.306374557919646]
  CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
  論文  参考訳（メタデータ） (2021-02-18T18:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。