論文の概要: Robust Saliency Guidance for Data-free Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2212.08251v1
• Date: Fri, 16 Dec 2022 02:43:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 15:31:45.178719
• Title: Robust Saliency Guidance for Data-free Class Incremental Learning
• Title（参考訳）: データフリークラスインクリメンタルラーニングのためのロバストな塩分指導
• Authors: Xialei Liu, Jiang-Tian Zhai, Andrew D. Bagdanov, Ke Li, Ming-Ming Cheng
• Abstract要約: Data-Free Class Incremental Learning (DFCIL)は、現在のデータのみにアクセスしてタスクを逐次学習することを目的としている。 我々は、DFCILの堅牢なサリエンシガイダンスを導入し、RObust Saliency Supervision(ROSS)と呼ばれる新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 77.76997146769611
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data-Free Class Incremental Learning (DFCIL) aims to sequentially learn tasks with access only to data from the current one. DFCIL is of interest because it mitigates concerns about privacy and long-term storage of data, while at the same time alleviating the problem of catastrophic forgetting in incremental learning. In this work, we introduce robust saliency guidance for DFCIL and propose a new framework, which we call RObust Saliency Supervision (ROSS), for mitigating the negative effect of saliency drift. Firstly, we use a teacher-student architecture leveraging low-level tasks to supervise the model with global saliency. We also apply boundary-guided saliency to protect it from drifting across object boundaries at intermediate layers. Finally, we introduce a module for injecting and recovering saliency noise to increase robustness of saliency preservation. Our experiments demonstrate that our method can retain better saliency maps across tasks and achieve state-of-the-art results on the CIFAR-100, Tiny-ImageNet and ImageNet-Subset DFCIL benchmarks. Code will be made publicly available.
• Abstract（参考訳）: Data-Free Class Incremental Learning (DFCIL)は、現在のデータのみにアクセスしてタスクを逐次学習することを目的としている。 DFCILは、プライバシーとデータの長期保存に関する懸念を軽減すると同時に、漸進的な学習における破滅的な忘れの問題を軽減するため、興味深い。 本研究では,DFCILに対するロバスト・サリエンシ・スーパービジョン(ROOSS)と呼ばれる新しい枠組みを提案し,サリエンシ・ドリフトの負の効果を緩和する。 まず,低レベルなタスクを活かした教師学生アーキテクチャを用いて,モデルをグローバルなサリエンシで監視する。 また、中間層における物体の境界を越えての漂流を防止するために境界誘導塩分法を適用した。 最後に,サリエンシ保存の堅牢性を高めるために,サリエンシノイズの注入と回復のためのモジュールを導入する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset DFCILベンチマークを用いて,タスク間でのより優れたサリエンシマップを維持できることを示す。 コードは公開される予定だ。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning [10.95493493610559]
  マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。 特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。 公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
  論文  参考訳（メタデータ） (2024-02-27T16:54:08Z)
• Elastic Feature Consolidation for Cold Start Exemplar-Free Incremental Learning [17.815956928177638]
  本稿では,従来の課題に強く関連する方向のドリフトを規則化し,特徴表現を統一する,シンプルで効果的な手法を提案する。 EFC(Elastic Feature Consolidation)と呼ばれる我々の手法は、経験的特徴行列(EFM)に基づく2次特徴ドリフトの抽出可能な近似を利用する。 CIFAR-100、Tiny-ImageNet、ImageNet-Subset、ImageNet-1Kの実験結果から、弾性的特徴統合は、モデルの可塑性を維持し、最先端技術を大幅に上回ることによって、新しいタスクを学習できることを示した。
  論文  参考訳（メタデータ） (2024-02-06T11:35:02Z)
• Fine-Grained Knowledge Selection and Restoration for Non-Exemplar Class Incremental Learning [64.14254712331116]
  非典型的なクラスインクリメンタル学習は、過去のトレーニングデータにアクセスすることなく、新しいタスクと古いタスクの両方を学ぶことを目的としている。 本稿では, きめ細かい知識選択と復元のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-12-20T02:34:11Z)
• Task Residual for Tuning Vision-Language Models [69.22958802711017]
  タスク残差調整(TaskRes)と呼ばれる視覚言語モデル(VLM)のための新しい効率的なチューニング手法を提案する。 TaskResは、トレーニング済みモデルの事前知識とターゲットタスクに関する新たな知識を明示的に分離する。 提案されたTaskResは単純だが有効であり、11のベンチマークデータセットで以前のメソッドよりも大幅に上回っている。
  論文  参考訳（メタデータ） (2022-11-18T15:09:03Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Conditional Channel Gated Networks for Task-Aware Continual Learning [44.894710899300435]
  畳み込みニューラルネットワークは、一連の学習問題に最適化された場合、破滅的な忘れを経験する。 本稿では,この問題に条件付き計算で対処する新しい枠組みを提案する。 提案手法を4つの連続学習データセットで検証する。
  論文  参考訳（メタデータ） (2020-03-31T19:35:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。