論文の概要: Task Confusion and Catastrophic Forgetting in Class-Incremental Learning: A Mathematical Framework for Discriminative and Generative Modelings

• arxiv url: http://arxiv.org/abs/2410.20768v1
• Date: Mon, 28 Oct 2024 06:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:41.681795
• Title: Task Confusion and Catastrophic Forgetting in Class-Incremental Learning: A Mathematical Framework for Discriminative and Generative Modelings
• Title（参考訳）: クラス増分学習におけるタスクの融合とカタストロフィック・フォーミング--識別・生成モデリングのための数学的枠組み
• Authors: Milad Khademi Nori, Il-Min Kim,
• Abstract要約: クラスインクリメンタルラーニング(class-incremental learning、クラス-IL)では、モデルがタスクIDなしでテスト時に見たすべてのクラスを分類しなければなりません。 本稿では,クラスILの新しい数学的枠組みを提案し,識別モデルでは最適なクラスILは不可能であることを示す。
• 参考スコア（独自算出の注目度）: 5.899701834228992
• License:
• Abstract: In class-incremental learning (class-IL), models must classify all previously seen classes at test time without task-IDs, leading to task confusion. Despite being a key challenge, task confusion lacks a theoretical understanding. We present a novel mathematical framework for class-IL and prove the Infeasibility Theorem, showing optimal class-IL is impossible with discriminative modeling due to task confusion. However, we establish the Feasibility Theorem, demonstrating that generative modeling can achieve optimal class-IL by overcoming task confusion. We then assess popular class-IL strategies, including regularization, bias-correction, replay, and generative classifier, using our framework. Our analysis suggests that adopting generative modeling, either for generative replay or direct classification (generative classifier), is essential for optimal class-IL.
• Abstract（参考訳）: クラスインクリメンタルラーニング(class-incremental learning、クラス-IL)では、モデルがタスクIDなしでテスト時に見たすべてのクラスを分類しなければなりません。 重要な課題であるにもかかわらず、タスクの混乱は理論的な理解を欠いている。 Infeasibility Theoremを証明し,タスクの混乱による識別モデルでは最適なクラスILは不可能であることを示す。 しかし、我々は、タスクの混乱を克服し、生成的モデリングが最適なクラスILを実現することを実証する可能性理論を確立した。 次に、我々のフレームワークを用いて、正規化、バイアス補正、リプレイ、生成型分類器を含む人気のあるクラスIL戦略を評価する。 本分析は,生成的リプレイや直接分類(生成的分類器)に生成的モデリングを採用することが最適クラスILに不可欠であることを示唆している。

関連論文リスト

• Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
  クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。 提案手法は適応生成モデルを用いて画像のラベルを直接生成する。 Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
  論文  参考訳（メタデータ） (2024-03-27T09:21:07Z)
• Learn to Categorize or Categorize to Learn? Self-Coding for Generalized Category Discovery [49.1865089933055]
  テスト時に未知のカテゴリを発見できる新しい,効率的かつ自己管理手法を提案する。 このアプローチの健全な特徴は、個々のデータインスタンスに最小長のカテゴリコードの割り当てである。 試行錯誤による評価は, 提案手法の有効性を実証するものである。
  論文  参考訳（メタデータ） (2023-10-30T17:45:32Z)
• Learning Optimal Fair Scoring Systems for Multi-Class Classification [0.0]
  機械学習モデルには、解釈可能性の欠如と、それらが生成または再現できる望ましくないバイアスに関する懸念が高まっている。 本稿では,混合整数線形計画法(MILP)を用いて,分散性と公正性制約下で本質的に解釈可能なスコアリングシステムを生成する。
  論文  参考訳（メタデータ） (2023-04-11T07:18:04Z)
• Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers [26.844410679685424]
  本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:46:05Z)
• Anomaly Detection using Ensemble Classification and Evidence Theory [62.997667081978825]
  本稿では,アンサンブル分類とエビデンス理論を用いた新しい検出手法を提案する。 固体アンサンブル分類器を構築するためのプール選択戦略が提示される。 我々は異常検出手法の不確実性を利用する。
  論文  参考訳（メタデータ） (2022-12-23T00:50:41Z)
• Evidential Deep Learning for Class-Incremental Semantic Segmentation [15.563703446465823]
  クラス増分学習(Class-Incremental Learning)は、以前トレーニングされたニューラルネットワークを新しいクラスに拡張することを目的とした機械学習の課題である。 本稿では、将来的な非相関クラスの特徴クラスタリングを回避しつつ、ラベルのないクラスをモデル化する方法の問題に対処する。 提案手法は,この問題をディリクレ分布の期待値と推定の不確実性に対応する未知のクラス(背景)確率で計算した,別のフォアグラウンドクラス確率に分解する。
  論文  参考訳（メタデータ） (2022-12-06T10:13:30Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• CLASTER: Clustering with Reinforcement Learning for Zero-Shot Action Recognition [52.66360172784038]
  各インスタンスを個別に最適化するのではなく,すべてのトレーニングサンプルを同時に考慮したクラスタリングモデルを提案する。 提案手法をCLASTERと呼び,すべての標準データセットの最先端性を常に改善することを確認する。
  論文  参考訳（メタデータ） (2021-01-18T12:46:24Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。