論文の概要: Joint Input and Output Coordination for Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2409.05620v1
• Date: Mon, 9 Sep 2024 13:55:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 14:29:55.010400
• Title: Joint Input and Output Coordination for Class-Incremental Learning
• Title（参考訳）: クラス増分学習のための共同入力と出力の調整
• Authors: Shuai Wang, Yibing Zhan, Yong Luo, Han Hu, Wei Yu, Yonggang Wen, Dacheng Tao,
• Abstract要約: 本稿では,これらの問題に対処するためのJIOC機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるカテゴリのデータに異なる重みを割り当てる。 メモリストレージを使用するさまざまなインクリメンタルな学習アプローチに組み込むことができる。
• 参考スコア（独自算出の注目度）: 84.36763449830812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incremental learning is nontrivial due to severe catastrophic forgetting. Although storing a small amount of data on old tasks during incremental learning is a feasible solution, current strategies still do not 1) adequately address the class bias problem, and 2) alleviate the mutual interference between new and old tasks, and 3) consider the problem of class bias within tasks. This motivates us to propose a joint input and output coordination (JIOC) mechanism to address these issues. This mechanism assigns different weights to different categories of data according to the gradient of the output score, and uses knowledge distillation (KD) to reduce the mutual interference between the outputs of old and new tasks. The proposed mechanism is general and flexible, and can be incorporated into different incremental learning approaches that use memory storage. Extensive experiments show that our mechanism can significantly improve their performance.
• Abstract（参考訳）: 急激な破滅的な忘れが原因で、増分学習は簡単ではない。 インクリメンタル学習中に古いタスクに少量のデータを保存することは実現可能な解決策であるが、現在の戦略はまだ実現していない。 1) クラスバイアス問題に適切に対処し 2新旧の課題間の相互干渉を緩和し、 3)タスク内のクラスバイアスの問題を考える。 これにより,これらの問題に対処するための共同入力・出力調整(JIOC)機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるデータカテゴリに異なる重みを割り当て、知識蒸留(KD)を使用して、古いタスクと新しいタスクの出力間の相互干渉を減らす。 提案するメカニズムは汎用的で柔軟性があり、メモリストレージを使用する様々な漸進的な学習アプローチに組み込むことができる。 大規模な実験により,我々の機構は性能を著しく向上させることができることがわかった。

関連論文リスト

• Navigating Semantic Drift in Task-Agnostic Class-Incremental Learning [51.177789437682954]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、モデルが学習したクラスの知識を維持しつつ、新しいクラスを逐次学習できるようにすることを目的とする。 柔軟性と安定性のバランスをとることは、特にタスクIDが不明な場合には、依然として大きな課題である。 本研究では,平均シフト補償と共分散校正を組み合わせたセマンティックドリフト校正法を提案する。
  論文  参考訳（メタデータ） (2025-02-11T13:57:30Z)
• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• Make Domain Shift a Catastrophic Forgetting Alleviator in Class-Incremental Learning [9.712093262192733]
  クラス増分学習タスクに対処するため,DisCo というシンプルな手法を提案する。 DisCoは、既存の最先端のクラス増分学習手法に簡単に統合できる。 実験結果から,本手法を各種CIL法に組み込むことにより,大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-12-31T03:02:20Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Dense Network Expansion for Class Incremental Learning [61.00081795200547]
  最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。 精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。 従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
  論文  参考訳（メタデータ） (2023-03-22T16:42:26Z)
• Resolving Task Confusion in Dynamic Expansion Architectures for Class Incremental Learning [27.872317837451977]
  タスク間の差別的・公平な特徴利用を促進するために,タスク関連インクリメンタルラーニング(TCIL)を提案する。 TCILは、古いタスクから学んだ知識を新しいタスクに伝達するために、多段階の知識蒸留を行う。 結果は,TILが常に最先端の精度を達成していることを示す。
  論文  参考訳（メタデータ） (2022-12-29T12:26:44Z)
• Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision [47.374412281270594]
  General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。 破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。 補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-03T06:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。