論文の概要: Joint Input and Output Coordination for Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2409.05620v1
- Date: Mon, 9 Sep 2024 13:55:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-10 14:29:55.010400
- Title: Joint Input and Output Coordination for Class-Incremental Learning
- Title（参考訳）: クラス増分学習のための共同入力と出力の調整
- Authors: Shuai Wang, Yibing Zhan, Yong Luo, Han Hu, Wei Yu, Yonggang Wen, Dacheng Tao,
- Abstract要約: 本稿では,これらの問題に対処するためのJIOC機構を提案する。
このメカニズムは、出力スコアの勾配に応じて異なるカテゴリのデータに異なる重みを割り当てる。
メモリストレージを使用するさまざまなインクリメンタルな学習アプローチに組み込むことができる。
- 参考スコア（独自算出の注目度）: 84.36763449830812
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Incremental learning is nontrivial due to severe catastrophic forgetting. Although storing a small amount of data on old tasks during incremental learning is a feasible solution, current strategies still do not 1) adequately address the class bias problem, and 2) alleviate the mutual interference between new and old tasks, and 3) consider the problem of class bias within tasks. This motivates us to propose a joint input and output coordination (JIOC) mechanism to address these issues. This mechanism assigns different weights to different categories of data according to the gradient of the output score, and uses knowledge distillation (KD) to reduce the mutual interference between the outputs of old and new tasks. The proposed mechanism is general and flexible, and can be incorporated into different incremental learning approaches that use memory storage. Extensive experiments show that our mechanism can significantly improve their performance.
- Abstract（参考訳）: 急激な破滅的な忘れが原因で、増分学習は簡単ではない。
インクリメンタル学習中に古いタスクに少量のデータを保存することは実現可能な解決策であるが、現在の戦略はまだ実現していない。
1) クラスバイアス問題に適切に対処し
2新旧の課題間の相互干渉を緩和し、
3)タスク内のクラスバイアスの問題を考える。
これにより,これらの問題に対処するための共同入力・出力調整(JIOC)機構を提案する。
このメカニズムは、出力スコアの勾配に応じて異なるデータカテゴリに異なる重みを割り当て、知識蒸留(KD)を使用して、古いタスクと新しいタスクの出力間の相互干渉を減らす。
提案するメカニズムは汎用的で柔軟性があり、メモリストレージを使用する様々な漸進的な学習アプローチに組み込むことができる。
大規模な実験により,我々の機構は性能を著しく向上させることができることがわかった。
関連論文リスト
- CoMBO: Conflict Mitigation via Branched Optimization for Class Incremental Segmentation [75.35841972192684]
効果的なクラスインクリメンタル(CIS)は、破滅的な忘れを同時に緩和し、新しいクラスを統合するのに十分な可塑性を確保する必要がある。
分岐最適化(CoMBO)による競合緩和という新しいアプローチを導入する。
このアプローチでは、新しいクラスに対するクエリを明示的に洗練するために設計されたQuery Conflict Reductionモジュールを提示する。
論文 参考訳（メタデータ） (2025-04-05T12:34:51Z) - CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。
本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。
異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
論文 参考訳（メタデータ） (2025-01-13T11:34:55Z) - Make Domain Shift a Catastrophic Forgetting Alleviator in Class-Incremental Learning [9.712093262192733]
クラス増分学習タスクに対処するため,DisCo というシンプルな手法を提案する。
DisCoは、既存の最先端のクラス増分学習手法に簡単に統合できる。
実験結果から,本手法を各種CIL法に組み込むことにより,大幅な性能向上が得られた。
論文 参考訳（メタデータ） (2024-12-31T03:02:20Z) - Dynamic Integration of Task-Specific Adapters for Class Incremental Learning [32.124078616314144]
非典型的なクラス インクリメンタルラーニング (NECIL) では、モデルがスクラッチからリトレーニングしたり、古いタスク インクリメンタルを格納したりすることなく、新しいクラスを継続的に取得できる。
本稿では,タスク特化アダプタ統合(TSAI)とパッチレベルモデルアライメントという,タスク特化アダプタの動的統合(DIA)という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-23T13:01:33Z) - Controllable Relation Disentanglement for Few-Shot Class-Incremental Learning [82.79371269942146]
本稿では,FewShot Class-Incremental Learning (FSCIL) を新たな視点,すなわち関係の絡み合いから扱うことを提案する。
急激な相関関係を切り離すことの課題は、FSCILの制御性が悪いことである。
我々は、CTRL-FSCIL(Controllable Relation-disentang FewShot Class-Incremental Learning)と呼ばれる、新しいシンプルな効果のある手法を提案する。
論文 参考訳（メタデータ） (2024-03-17T03:16:59Z) - Gradient Reweighting: Towards Imbalanced Class-Incremental Learning [8.438092346233054]
CIL(Class-Incremental Learning)は、非定常データから新しいクラスを継続的に認識するためにモデルを訓練する。
CILの大きな課題は、非一様分布を特徴とする実世界のデータに適用する場合である。
この二重不均衡問題により、FC層に偏りのある勾配更新が生じ、CILの過度/過度な適合と破滅的な忘れが引き起こされる。
論文 参考訳（メタデータ） (2024-02-28T18:08:03Z) - Neural Collapse Terminus: A Unified Solution for Class Incremental
Learning and Its Variants [166.916517335816]
本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。
ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。
本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
論文 参考訳（メタデータ） (2023-08-03T13:09:59Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文 参考訳（メタデータ） (2023-03-22T16:42:26Z) - Resolving Task Confusion in Dynamic Expansion Architectures for Class
Incremental Learning [27.872317837451977]
タスク間の差別的・公平な特徴利用を促進するために,タスク関連インクリメンタルラーニング(TCIL)を提案する。
TCILは、古いタスクから学んだ知識を新しいタスクに伝達するために、多段階の知識蒸留を行う。
結果は,TILが常に最先端の精度を達成していることを示す。
論文 参考訳（メタデータ） (2022-12-29T12:26:44Z) - Weakly Supervised Semantic Segmentation via Alternative Self-Dual
Teaching [82.71578668091914]
本稿では,分類とマスク・リファインメント・コンポーネントを統合された深層モデルに組み込む,コンパクトな学習フレームワークを確立する。
本稿では,高品質な知識相互作用を促進するために,新たな自己双対学習(ASDT)機構を提案する。
論文 参考訳（メタデータ） (2021-12-17T11:56:56Z) - Complementary Calibration: Boosting General Continual Learning with
Collaborative Distillation and Self-Supervision [47.374412281270594]
General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。
破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。
補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-03T06:35:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。