論文の概要: Joint Input and Output Coordination for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2409.05620v1
• Date: Mon, 9 Sep 2024 13:55:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 14:29:55.010400
• Title: Joint Input and Output Coordination for Class-Incremental Learning
• Title（参考訳）: クラス増分学習のための共同入力と出力の調整
• Authors: Shuai Wang, Yibing Zhan, Yong Luo, Han Hu, Wei Yu, Yonggang Wen, Dacheng Tao,
• Abstract要約: 本稿では,これらの問題に対処するためのJIOC機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるカテゴリのデータに異なる重みを割り当てる。 メモリストレージを使用するさまざまなインクリメンタルな学習アプローチに組み込むことができる。
• 参考スコア（独自算出の注目度）: 84.36763449830812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incremental learning is nontrivial due to severe catastrophic forgetting. Although storing a small amount of data on old tasks during incremental learning is a feasible solution, current strategies still do not 1) adequately address the class bias problem, and 2) alleviate the mutual interference between new and old tasks, and 3) consider the problem of class bias within tasks. This motivates us to propose a joint input and output coordination (JIOC) mechanism to address these issues. This mechanism assigns different weights to different categories of data according to the gradient of the output score, and uses knowledge distillation (KD) to reduce the mutual interference between the outputs of old and new tasks. The proposed mechanism is general and flexible, and can be incorporated into different incremental learning approaches that use memory storage. Extensive experiments show that our mechanism can significantly improve their performance.
• Abstract（参考訳）: 急激な破滅的な忘れが原因で、増分学習は簡単ではない。 インクリメンタル学習中に古いタスクに少量のデータを保存することは実現可能な解決策であるが、現在の戦略はまだ実現していない。 1) クラスバイアス問題に適切に対処し 2新旧の課題間の相互干渉を緩和し、 3)タスク内のクラスバイアスの問題を考える。 これにより,これらの問題に対処するための共同入力・出力調整(JIOC)機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるデータカテゴリに異なる重みを割り当て、知識蒸留(KD)を使用して、古いタスクと新しいタスクの出力間の相互干渉を減らす。 提案するメカニズムは汎用的で柔軟性があり、メモリストレージを使用する様々な漸進的な学習アプローチに組み込むことができる。 大規模な実験により,我々の機構は性能を著しく向上させることができることがわかった。

関連論文リスト

• Controllable Relation Disentanglement for Few-Shot Class-Incremental Learning [82.79371269942146]
  本稿では,FewShot Class-Incremental Learning (FSCIL) を新たな視点,すなわち関係の絡み合いから扱うことを提案する。 急激な相関関係を切り離すことの課題は、FSCILの制御性が悪いことである。 我々は、CTRL-FSCIL(Controllable Relation-disentang FewShot Class-Incremental Learning)と呼ばれる、新しいシンプルな効果のある手法を提案する。
  論文  参考訳（メタデータ） (2024-03-17T03:16:59Z)
• Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
  CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。 CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。 この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
  論文  参考訳（メタデータ） (2024-02-28T18:08:03Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Resolving Task Confusion in Dynamic Expansion Architectures for Class Incremental Learning [27.872317837451977]
  タスク間の差別的・公平な特徴利用を促進するために,タスク関連インクリメンタルラーニング(TCIL)を提案する。 TCILは、古いタスクから学んだ知識を新しいタスクに伝達するために、多段階の知識蒸留を行う。 結果は,TILが常に最先端の精度を達成していることを示す。
  論文  参考訳（メタデータ） (2022-12-29T12:26:44Z)
• Weakly Supervised Semantic Segmentation via Alternative Self-Dual Teaching [82.71578668091914]
  本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。 本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
  論文  参考訳（メタデータ） (2021-12-17T11:56:56Z)
• Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision [47.374412281270594]
  General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。 破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。 補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-03T06:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。