論文の概要: R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2203.13104v1
• Date: Thu, 24 Mar 2022 14:54:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-25 14:30:30.513122
• Title: R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning
• Title（参考訳）: r-dfcil:データフリークラスインクリメンタル学習のための関係誘導表現学習
• Authors: Qiankun Gao, Chen Zhao, Bernard Ghanem, Jian Zhang
• Abstract要約: クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、新しい知識を学ぶ際に、破滅的な忘れ方に苦しむ。 近年のDFCIL研究は、従来のクラスのデータ合成のためのモデル反転のような手法を導入している。 本稿では、R-DFCILと呼ばれるDFCILのための関係誘導型表現学習(RRL)を提案する。
• 参考スコア（独自算出の注目度）: 64.7996065569457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) struggles with catastrophic forgetting when learning new knowledge, and Data-Free CIL (DFCIL) is even more challenging without access to the training data of previous classes. Though recent DFCIL works introduce techniques such as model inversion to synthesize data for previous classes, they fail to overcome forgetting due to the severe domain gap between the synthetic and real data. To address this issue, this paper proposes relation-guided representation learning (RRL) for DFCIL, dubbed R-DFCIL. In RRL, we introduce relational knowledge distillation to flexibly transfer the structural relation of new data from the old model to the current model. Our RRL-boosted DFCIL can guide the current model to learn representations of new classes better compatible with representations of previous classes, which greatly reduces forgetting while improving plasticity. To avoid the mutual interference between representation and classifier learning, we employ local rather than global classification loss during RRL. After RRL, the classification head is fine-tuned with global class-balanced classification loss to address the data imbalance issue as well as learn the decision boundary between new and previous classes. Extensive experiments on CIFAR100, Tiny-ImageNet200, and ImageNet100 demonstrate that our R-DFCIL significantly surpasses previous approaches and achieves a new state-of-the-art performance for DFCIL.
• Abstract（参考訳）: 新しい知識を学ぶとき、クラスインクリメンタル学習(cil)は壊滅的な忘れに苦しむが、データフリー学習(dfcil)は以前のクラスのトレーニングデータにアクセスせずにさらに難しい。 近年のDFCIL研究は、過去のクラスのデータを合成するためのモデル反転のような手法を導入しているが、合成データと実データの間に深刻な領域ギャップがあるため、忘れを克服することはできなかった。 本稿では,R-DFCIL と呼ばれる DFCIL に対する関係誘導型表現学習 (RRL) を提案する。 RRLでは,従来のモデルから現在のモデルへ,新しいデータの構造的関係を柔軟に伝達する関係知識蒸留を導入する。 rrlで起動したdfcilは,既存クラスの表現との互換性が向上する新クラスの表現を学習するために,現在のモデルをガイドすることができる。 表現と分類器学習の相互干渉を避けるため,rrlにおけるグローバル分類損失よりも局所的手法を採用する。 RRL後、分類ヘッドはグローバルなクラスバランスの分類損失に微調整され、データ不均衡問題に対処し、新しいクラスと前のクラスの決定境界を学習する。 CIFAR100, Tiny-ImageNet200, ImageNet100の大規模な実験により、我々のR-DFCILが従来のアプローチを大幅に上回り、DFCILの新たな最先端性能を実現することを示した。

関連論文リスト

• Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
  Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。 本研究では拡散モデルに基づく新しいデータ再生手法を提案する。 我々の手法は既存のベースラインを大きく上回っている。
  論文  参考訳（メタデータ） (2024-09-02T10:07:24Z)
• PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning [41.984652077669104]
  標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。 本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
  論文  参考訳（メタデータ） (2024-01-04T06:46:19Z)
• Federated Latent Class Regression for Hierarchical Data [5.110894308882439]
  フェデレートラーニング(FL)は、多くのエージェントがローカルに保存されたデータを開示することなく、グローバル機械学習モデルのトレーニングに参加することを可能にする。 本稿では,新しい確率モデルである階層潜在クラス回帰(HLCR)を提案し,フェデレートラーニング(FEDHLCR)への拡張を提案する。 我々の推論アルゴリズムはベイズ理論から派生したもので、強い収束保証と過剰適合性を提供する。実験結果から、FEDHLCRは非IIDデータセットにおいても高速収束を提供することが示された。
  論文  参考訳（メタデータ） (2022-06-22T00:33:04Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)
• CRL: Class Representative Learning for Image Classification [5.11566193457943]
  本稿では,ZSLの影響を受けやすいクラス代表学習モデル(CRL)を提案する。 CRLモデルでは、まず、畳み込みニューラルネットワーク(CNN)から抽出された特徴を集約することにより、データセットのクラスを表現するクラス代表を構築する。 提案したCRLモデルは,ZSLおよびモバイル深層学習における最先端の研究と比較して,優れた性能を示した。
  論文  参考訳（メタデータ） (2020-02-16T17:02:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。