論文の概要: Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework

• arxiv url: http://arxiv.org/abs/2205.09347v1
• Date: Thu, 19 May 2022 06:54:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 12:08:27.265693
• Title: Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework
• Title（参考訳）: 生成フレームワークを用いたオンラインクラスインクリメンタルラーニングにおけるロジットバイアスの回避
• Authors: Gehui Shen, Shibo Jie, Ziheng Li, Zhi-Hong Deng
• Abstract要約: 我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。 既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。 特徴空間に基づく新しい生成フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 15.345043222622158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning requires the model to maintain the learned knowledge while learning from a non-i.i.d data stream continually. Due to the single-pass training setting, online continual learning is very challenging, but it is closer to the real-world scenarios where quick adaptation to new data is appealing. In this paper, we focus on online class-incremental learning setting in which new classes emerge over time. Almost all existing methods are replay-based with a softmax classifier. However, the inherent logits bias problem in the softmax classifier is a main cause of catastrophic forgetting while existing solutions are not applicable for online settings. To bypass this problem, we abandon the softmax classifier and propose a novel generative framework based on the feature space. In our framework, a generative classifier which utilizes replay memory is used for inference, and the training objective is a pair-based metric learning loss which is proven theoretically to optimize the feature space in a generative way. In order to improve the ability to learn new data, we further propose a hybrid of generative and discriminative loss to train the model. Extensive experiments on several benchmarks, including newly introduced task-free datasets, show that our method beats a series of state-of-the-art replay-based methods with discriminative classifiers, and reduces catastrophic forgetting consistently with a remarkable margin.
• Abstract（参考訳）: 継続的な学習は、非i.dデータストリームから継続的に学習しながら、学習した知識を維持するモデルを必要とする。 シングルパスのトレーニング設定のため、オンラインの連続学習は非常に難しいが、新しいデータへの迅速な適応がアピールされる現実世界のシナリオに近い。 本稿では,新しい授業が時間とともに出現するオンライン授業増分学習環境に焦点を当てた。 既存のメソッドのほとんどすべてが、softmax分類器でリプレイベースである。 しかし、softmax分類器に内在するlogitsバイアス問題は、オンライン設定に既存のソリューションが適用できない場合、壊滅的な忘れる主な原因である。 この問題を回避するため,softmax分類器を廃止し,特徴空間に基づく新しい生成フレームワークを提案する。 本フレームワークでは,リプレイメモリを利用した生成型分類器を推論に使用し,理論上,特徴空間を生成的手法で最適化することが証明された,ペアベースのメトリック学習損失である。 さらに,新しいデータ学習能力を向上させるために,モデル学習のための生成的損失と識別的損失のハイブリッドを提案する。 新たに導入されたタスクフリーデータセットを含むいくつかのベンチマークにおいて、我々の手法は、識別型分類器を用いた一連の最先端のリプレイベース手法を破り、破滅的な忘れ込みを顕著なマージンとともに減少させることを示した。

関連論文リスト

• Random Representations Outperform Online Continually Learned Representations [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
  改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。 我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。 提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
  論文  参考訳（メタデータ） (2022-11-05T17:19:14Z)
• Learning to Generate Novel Classes for Deep Metric Learning [24.048915378172012]
  本稿では,新しいクラスとその埋め込みベクトルを合成するデータ拡張手法を提案する。 クラスラベルとノイズを与えられた条件付き生成モデルを学習し、活用することにより、クラスにランダムな埋め込みベクトルを生成する。 提案したジェネレータは,現実的で多様なクラスを増大させることで,よりリッチなクラス関係を利用でき,その結果,見つからないサンプルをより一般化することができる。
  論文  参考訳（メタデータ） (2022-01-04T06:55:19Z)
• Class-Incremental Learning with Generative Classifiers [6.570917734205559]
  本稿では,クラス増分学習のための新しい戦略を提案する。 本提案は,p(x|y)p(y) として分解された合同分布 p(x,y) を学習し,ベイズ則を用いた分類を行うことである。 ここでは,各学習クラスに対して,変分オートエンコーダをトレーニングすることで,この戦略を実証する。
  論文  参考訳（メタデータ） (2021-04-20T16:26:14Z)
• Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning [17.310385256678654]
  クラス増分連続学習(CL)は、オンラインの非定常データストリームから新しいクラスを継続的に学習する問題を研究する。 メモリリプレイは有望な結果を示しているが、一般的に使用されるsoftmax分類器によるオンライン学習の正規バイアスは未解決の課題である。 CLコミュニティにおいてNearest-Class-Mean(NCM)分類器は著しく過小評価されているが、Softmax分類器の単純な代替として有効であることを示す。
  論文  参考訳（メタデータ） (2021-03-22T20:27:34Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。