論文の概要: Heterogeneous Forgetting Compensation for Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2308.03374v1
- Date: Mon, 7 Aug 2023 07:53:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 14:43:24.060067
- Title: Heterogeneous Forgetting Compensation for Class-Incremental Learning
- Title（参考訳）: クラス増分学習のための不均一な予測補償
- Authors: Jiahua Dong, Wenqi Liang, Yang Cong, Gan Sun
- Abstract要約: 我々は、古いカテゴリの不均一な忘れを解消できる新しい不均一予測補償モデルを開発する。
具体的には、表現的側面からの不均一な忘れを緩和するタスクセマンティックアグリゲーションブロックを設計する。
また,2つの新しいプラグ・アンド・プレイ損失,すなわち,勾配バランスの補正損失と勾配バランスの関係蒸留損失を発生させた。
- 参考スコア（独自算出の注目度）: 42.41058725474929
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class-incremental learning (CIL) has achieved remarkable successes in
learning new classes consecutively while overcoming catastrophic forgetting on
old categories. However, most existing CIL methods unreasonably assume that all
old categories have the same forgetting pace, and neglect negative influence of
forgetting heterogeneity among different old classes on forgetting
compensation. To surmount the above challenges, we develop a novel
Heterogeneous Forgetting Compensation (HFC) model, which can resolve
heterogeneous forgetting of easy-to-forget and hard-to-forget old categories
from both representation and gradient aspects. Specifically, we design a
task-semantic aggregation block to alleviate heterogeneous forgetting from
representation aspect. It aggregates local category information within each
task to learn task-shared global representations. Moreover, we develop two
novel plug-and-play losses: a gradient-balanced forgetting compensation loss
and a gradient-balanced relation distillation loss to alleviate forgetting from
gradient aspect. They consider gradient-balanced compensation to rectify
forgetting heterogeneity of old categories and heterogeneous relation
consistency. Experiments on several representative datasets illustrate
effectiveness of our HFC model. The code is available at
https://github.com/JiahuaDong/HFC.
- Abstract（参考訳）: クラスインクリメンタルラーニング (CIL) は, 過去のカテゴリーにおける破滅的な忘れを克服しつつ, 新しいクラスを連続的に学習する上で, 顕著な成功を収めた。
しかし、既存のCIL法の多くは、すべての古いカテゴリが同じ忘れるペースを持ち、異なる古いクラス間で不均一性を忘れることによる負の影響を無視していると不当に仮定している。
上記の課題を克服するため,我々は,表現面と勾配面の両方から,忘れやすい,忘れにくい古いカテゴリのヘテロジニアスな忘れることを解決できる,新しいヘテロジニアス・フォーティング・補償(hfc)モデルを開発した。
具体的には、表現的側面からの不均一な忘れを緩和するタスク意味集約ブロックを設計する。
各タスク内のローカルカテゴリ情報を集約し、タスク共有グローバル表現を学習する。
さらに,2つの新しいプラグ・アンド・プレイ損失,すなわち,勾配バランスの欠如補償損失と勾配バランスの関係蒸留損失を発生させ,勾配の欠落を緩和する。
彼らは、古いカテゴリの不均一性を忘れることと不均一な関係の整合性を正すために勾配バランスの補正を考える。
いくつかの代表的なデータセットの実験では、HFCモデルの有効性が示されている。
コードはhttps://github.com/JiahuaDong/HFCで入手できる。
関連論文リスト
- Balanced Classification: A Unified Framework for Long-Tailed Object
Detection [74.94216414011326]
従来の検出器は、分類バイアスによる長期データを扱う際の性能劣化に悩まされる。
本稿では,カテゴリ分布の格差に起因する不平等の適応的是正を可能にする,BAlanced CLassification (BACL) と呼ばれる統一フレームワークを提案する。
BACLは、さまざまなバックボーンとアーキテクチャを持つさまざまなデータセット間で、一貫してパフォーマンス改善を実現している。
論文 参考訳（メタデータ） (2023-08-04T09:11:07Z) - Gradient-Semantic Compensation for Incremental Semantic Segmentation [43.00965727428193]
インクリメンタルセマンティックセマンティクスは、以前に学習したクラスのトレーニングデータにアクセスすることなく、新しいクラスのセマンティクスを継続的に学習することを目的としている。
グラディエント・セマンティック補償モデルを提案し, グラディエント・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・パースペクティブの両面からインクリメンタル・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・セマンティック・モデルを提案する。
論文 参考訳（メタデータ） (2023-07-20T12:32:25Z) - Federated Incremental Semantic Segmentation [42.66387280141536]
フェデレート学習に基づくセマンティックセマンティックセグメンテーション(FSS)は、ローカルクライアントでの分散トレーニングを通じて広く注目を集めている。
ほとんどのFSSモデルは、カテゴリが事前に固定されていると仮定しており、実用的な応用において古いカテゴリを忘れている。
本稿では,クライアント内およびクライアント間両方の側面から,古いクラスにおける異種忘れに対処するフォッッティングベース学習モデルを提案する。
論文 参考訳（メタデータ） (2023-04-10T14:34:23Z) - No One Left Behind: Real-World Federated Class-Incremental Learning [111.77681016996202]
ローカル・グローバル・アンチ・フォーゲッティング(LGA)モデルは、局所的およびグローバルな破滅的な忘れに対処する。
本研究は,カテゴリ均衡型勾配適応型補償損失とカテゴリ勾配誘導型セマンティック蒸留損失を開発する。
ローカルクライアントから収集した新しいカテゴリの摂動型プロトタイプイメージを、自己監督型プロトタイプ拡張を通じて拡張する。
論文 参考訳（メタデータ） (2023-02-02T06:41:02Z) - The Equalization Losses: Gradient-Driven Training for Long-tailed Object
Recognition [84.51875325962061]
本稿では,長距離問題に対処するための勾配駆動型学習機構を提案する。
我々は、勾配駆動損失関数の新たなファミリー、すなわち等化損失を導入する。
我々の手法は一貫してベースラインモデルより優れています。
論文 参考訳（メタデータ） (2022-10-11T16:00:36Z) - Discriminability-enforcing loss to improve representation learning [20.4701676109641]
我々は、個々の高次特徴のエントロピーを最小化するために、ジニ不純物にインスパイアされた新しい損失項を導入する。
我々のGini損失は高い差別的特徴をもたらすが、高レベルの特徴の分布がクラスの分布と一致していることを保証するものではない。
実験結果から,新たな損失項をトレーニング目標に組み込むことで,クロスエントロピー単独でトレーニングしたモデルよりも一貫して優れた結果が得られた。
論文 参考訳（メタデータ） (2022-02-14T22:31:37Z) - Adaptive Class Suppression Loss for Long-Tail Object Detection [49.7273558444966]
アダプティブクラス抑圧損失(ACSL:Adaptive Class Suppression Loss)を考案し,尾部カテゴリの検出性能を改善する。
当社のACSLはResNet50-FPNで5.18%と5.2%の改善を実現し,新たな最先端技術を実現した。
論文 参考訳（メタデータ） (2021-04-02T05:12:31Z) - Seesaw Loss for Long-Tailed Instance Segmentation [131.86306953253816]
本稿では,各カテゴリの正試料と負試料の動的再バランス勾配を求めるシーソー損失を提案する。
緩和因子は、異なるカテゴリ間の累積トレーニングインスタンスの比率に比例して、罰を尾のカテゴリに還元する。
補償係数は、末尾カテゴリーの偽陽性を避けるために、誤分類されたインスタンスのペナルティを増加させる。
論文 参考訳（メタデータ） (2020-08-23T12:44:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。