論文の概要: Teamwork Is Not Always Good: An Empirical Study of Classifier Drift in
Class-incremental Information Extraction
- arxiv url: http://arxiv.org/abs/2305.16559v1
- Date: Fri, 26 May 2023 00:57:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 17:39:26.338102
- Title: Teamwork Is Not Always Good: An Empirical Study of Classifier Drift in
Class-incremental Information Extraction
- Title（参考訳）: チームワークは常に良いものではない: クラスインクリメンタル情報抽出におけるクラシファイアドリフトの実証的研究
- Authors: Minqian Liu, Lifu Huang
- Abstract要約: 授業増分学習は,学習前の授業を忘れることなく,データストリームから新しいクラスを継続的に学習できる学習システムを開発することを目的としている。
本稿では,分類器内のドリフトがいかにして忘れてしまうかを詳しく検討し,それに伴い,ドリフトを緩和するための4つの単純かつ(超)効果的な解法について述べる。
我々の解は、常に44.7%の絶対Fスコアゲインを持つ従来の最先端のアプローチよりも大幅に改善されている。
- 参考スコア（独自算出の注目度）: 12.4259256312658
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Class-incremental learning (CIL) aims to develop a learning system that can
continually learn new classes from a data stream without forgetting previously
learned classes. When learning classes incrementally, the classifier must be
constantly updated to incorporate new classes, and the drift in decision
boundary may lead to severe forgetting. This fundamental challenge, however,
has not yet been studied extensively, especially in the setting where no
samples from old classes are stored for rehearsal. In this paper, we take a
closer look at how the drift in the classifier leads to forgetting, and
accordingly, design four simple yet (super-) effective solutions to alleviate
the classifier drift: an Individual Classifiers with Frozen Feature Extractor
(ICE) framework where we individually train a classifier for each learning
session, and its three variants ICE-PL, ICE-O, and ICE-PL&O which further take
the logits of previously learned classes from old sessions or a constant logit
of an Other class as a constraint to the learning of new classifiers. Extensive
experiments and analysis on 6 class-incremental information extraction tasks
demonstrate that our solutions, especially ICE-O, consistently show significant
improvement over the previous state-of-the-art approaches with up to 44.7%
absolute F-score gain, providing a strong baseline and insights for future
research on class-incremental learning.
- Abstract（参考訳）: CIL(Class-incremental Learning)は,データストリームから新しいクラスを継続的に学習する学習システムである。
クラスを漸進的に学習する場合、分類器を常に更新して新しいクラスを組み込まなければならない。
しかし、この根本的な課題は、特に古いクラスのサンプルをリハーサルのために保存しない環境では、まだ広く研究されていない。
In this paper, we take a closer look at how the drift in the classifier leads to forgetting, and accordingly, design four simple yet (super-) effective solutions to alleviate the classifier drift: an Individual Classifiers with Frozen Feature Extractor (ICE) framework where we individually train a classifier for each learning session, and its three variants ICE-PL, ICE-O, and ICE-PL&O which further take the logits of previously learned classes from old sessions or a constant logit of an Other class as a constraint to the learning of new classifiers.
6つのクラスインクリメンタル情報抽出タスクに関する大規模な実験と分析により、我々のソリューション、特にICE-Oは、最大44.7%の絶対的なFスコアゲインを持つ最先端のアプローチに対して、一貫して顕著な改善を示し、クラスインクリメンタルラーニング研究のための強力なベースラインと洞察を提供する。
関連論文リスト
- Happy: A Debiased Learning Framework for Continual Generalized Category Discovery [54.54153155039062]
本稿では,C-GCD(Continuous Generalized Category Discovery)の未探索課題について考察する。
C-GCDは、学習済みのクラスを認識する能力を維持しながら、ラベルのないデータから新しいクラスを漸進的に発見することを目的としている。
本稿では,ハードネスを意識したプロトタイプサンプリングとソフトエントロピー正規化を特徴とする,偏りのある学習フレームワークであるHappyを紹介する。
論文 参考訳（メタデータ） (2024-10-09T04:18:51Z) - CLOSER: Towards Better Representation Learning for Few-Shot Class-Incremental Learning [52.63674911541416]
FSCIL(Few-shot class-incremental Learning)は、過剰適合や忘れなど、いくつかの課題に直面している。
FSCILの独特な課題に取り組むため、ベースクラスでの表現学習に重点を置いている。
より制限された機能空間内で機能の拡散を確保することで、学習された表現が、伝達可能性と識別可能性のバランスを良くすることが可能になることが分かりました。
論文 参考訳（メタデータ） (2024-10-08T02:23:16Z) - Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。
プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。
その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
論文 参考訳（メタデータ） (2023-12-13T13:11:44Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - S3C: Self-Supervised Stochastic Classifiers for Few-Shot
Class-Incremental Learning [22.243176199188238]
FSCIL(Few-shot class-incremental Learning)は、既に学習済みのクラスについての知識を忘れずに、ラベル付きサンプルがほとんどない新しいクラスについて徐々に学習することを目的としている。
FSCILには2つの大きな課題がある: (i) 限られたデータ量のために新しいクラスに過度に適合すること、 (ii) 段階的にこれらのクラスからのデータが利用できないために古いクラスを破滅的に忘れること。
論文 参考訳（メタデータ） (2023-07-05T12:41:46Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳（メタデータ） (2023-03-09T08:57:01Z) - Generalization Bounds for Few-Shot Transfer Learning with Pretrained
Classifiers [26.844410679685424]
本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
論文 参考訳（メタデータ） (2022-12-23T18:46:05Z) - Anomaly Detection using Ensemble Classification and Evidence Theory [62.997667081978825]
本稿では,アンサンブル分類とエビデンス理論を用いた新しい検出手法を提案する。
固体アンサンブル分類器を構築するためのプール選択戦略が提示される。
我々は異常検出手法の不確実性を利用する。
論文 参考訳（メタデータ） (2022-12-23T00:50:41Z) - Long-tail Recognition via Compositional Knowledge Transfer [60.03764547406601]
末尾クラスの少数ショット問題に対処する長尾認識のための新しい戦略を導入する。
我々の目標は、情報に富んだ共通クラスから得られた知識を、意味的に類似しているがデータに富む稀なクラスに伝達することである。
実験結果から,本手法は稀なクラスにおいて,堅牢な共通クラス性能を維持しつつ,大幅な性能向上を達成できることが示唆された。
論文 参考訳（メタデータ） (2021-12-13T15:48:59Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Class-incremental Learning with Pre-allocated Fixed Classifiers [20.74548175713497]
クラス増分学習では、学習エージェントは、前のクラスを忘れずに新しいクラスを学ぶことを目標として、データのストリームに直面します。
本稿では,複数の事前配置された出力ノードが学習フェーズの開始時から,その分類損失に正しく対応できる新しい固定分類器を提案する。
論文 参考訳（メタデータ） (2020-10-16T22:40:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。