論文の概要: Balancing the Causal Effects in Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2402.10063v1
• Date: Thu, 15 Feb 2024 16:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-16 15:02:06.969862
• Title: Balancing the Causal Effects in Class-Incremental Learning
• Title（参考訳）: 授業増分学習における因果効果のバランス
• Authors: Junhao Zheng, Ruiyan Wang, Chongzhi Zhang, Huawen Feng, Qianli Ma
• Abstract要約: CIL(Class-Incremental Learning)は、汎用人工知能を実現するための実践的で困難な問題である。 新たなデータと古いデータの間に不均衡な因果関係があることを示す。 本稿では,この問題を緩和するために,CILにおける因果効果(BaCE)のバランスをとることを提案する。
• 参考スコア（独自算出の注目度）: 23.35478989162079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Class-Incremental Learning (CIL) is a practical and challenging problem for achieving general artificial intelligence. Recently, Pre-Trained Models (PTMs) have led to breakthroughs in both visual and natural language processing tasks. Despite recent studies showing PTMs' potential ability to learn sequentially, a plethora of work indicates the necessity of alleviating the catastrophic forgetting of PTMs. Through a pilot study and a causal analysis of CIL, we reveal that the crux lies in the imbalanced causal effects between new and old data. Specifically, the new data encourage models to adapt to new classes while hindering the adaptation of old classes. Similarly, the old data encourages models to adapt to old classes while hindering the adaptation of new classes. In other words, the adaptation process between new and old classes conflicts from the causal perspective. To alleviate this problem, we propose Balancing the Causal Effects (BaCE) in CIL. Concretely, BaCE proposes two objectives for building causal paths from both new and old data to the prediction of new and classes, respectively. In this way, the model is encouraged to adapt to all classes with causal effects from both new and old data and thus alleviates the causal imbalance problem. We conduct extensive experiments on continual image classification, continual text classification, and continual named entity recognition. Empirical results show that BaCE outperforms a series of CIL methods on different tasks and settings.
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、汎用人工知能を実現するための実践的で困難な問題である。 最近、PTM(Pre-Trained Models)は、視覚的および自然言語処理タスクの両方にブレークスルーをもたらした。 近年の研究では、PTMが逐次学習できる可能性を示しているが、多くの研究が、PTMの破滅的な忘れを緩和する必要性を示している。 パイロットスタディとCILの因果解析により、新しいデータと古いデータの間の不均衡な因果関係にあることが明らかとなった。 具体的には、新しいデータはモデルに新しいクラスへの適応を奨励し、古いクラスへの適応を妨げる。 同様に、古いデータはモデルの古いクラスへの適応を奨励し、新しいクラスの適応を妨げる。 言い換えれば、新しいクラスと古いクラスの間の適応プロセスは因果的な観点から相反する。 この問題を解決するために,cilの因果効果(bace)のバランスをとることを提案する。 具体的には、新しいデータと古いデータの両方から新しいデータとクラスの予測への因果経路を構築するための2つの目的を提案する。 このように、モデルは、新しいデータと古いデータの両方から因果効果を持つすべてのクラスに適応することが奨励され、因果不均衡問題を緩和する。 連続的な画像分類,連続的なテキスト分類,連続的な名前付きエンティティ認識に関する広範な実験を行う。 実証的な結果から、BaCEはさまざまなタスクや設定で一連のCILメソッドよりも優れています。

関連論文リスト

• Happy: A Debiased Learning Framework for Continual Generalized Category Discovery [54.54153155039062]
  本稿では,C-GCD(Continuous Generalized Category Discovery)の未探索課題について考察する。 C-GCDは、学習済みのクラスを認識する能力を維持しながら、ラベルのないデータから新しいクラスを漸進的に発見することを目的としている。 本稿では,ハードネスを意識したプロトタイプサンプリングとソフトエントロピー正規化を特徴とする,偏りのある学習フレームワークであるHappyを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T04:18:51Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Class-Incremental Learning of Plant and Disease Detection: Growing Branches with Knowledge Distillation [0.0]
  本稿では,農業利用におけるクラスインクリメンタルオブジェクト検出の問題点について検討する。 より現実的でダイナミックなシナリオをシミュレートして、時間とともに新しいカテゴリを含むように、2つのパブリックデータセットを適用します。 異なる形態の知識蒸留を利用して破滅的忘れを緩和する3つのクラス増分学習法を比較した。
  論文  参考訳（メタデータ） (2023-04-13T15:40:41Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Multi-Granularity Regularized Re-Balancing for Class Incremental Learning [32.52884416761171]
  ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。 古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。 この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T11:04:51Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Multi-View Correlation Distillation for Incremental Object Detection [12.536640582318949]
  我々は,新しいtextbfMulti-textbfView textbfCorrelation textbfDistillation (MVCD) を用いたインクリメンタルオブジェクト検出法を提案する。
  論文  参考訳（メタデータ） (2021-07-05T04:36:33Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。