論文の概要: Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis

• arxiv url: http://arxiv.org/abs/2308.15236v2
• Date: Sat, 16 Mar 2024 14:11:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:02:28.581711
• Title: Rotation Augmented Distillation for Exemplar-Free Class Incremental Learning with Detailed Analysis
• Title（参考訳）: 詳細分析による初等中等教育のための回転拡張蒸留法
• Authors: Xiuwei Chen, Xiaobin Chang,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は、インクリメンタルタスクに沿って、古いクラスと新しいクラスの両方を認識することを目的としている。 本稿では、古いクラスサンプルを保存しないExemplar-Free設定に焦点を当てる。 本稿では, 簡易なCIL法である回転拡張蒸留法(RAD)を提案する。
• 参考スコア（独自算出の注目度）: 3.4069627091757178
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class incremental learning (CIL) aims to recognize both the old and new classes along the increment tasks. Deep neural networks in CIL suffer from catastrophic forgetting and some approaches rely on saving exemplars from previous tasks, known as the exemplar-based setting, to alleviate this problem. On the contrary, this paper focuses on the Exemplar-Free setting with no old class sample preserved. Balancing the plasticity and stability in deep feature learning with only supervision from new classes is more challenging. Most existing Exemplar-Free CIL methods report the overall performance only and lack further analysis. In this work, different methods are examined with complementary metrics in greater detail. Moreover, we propose a simple CIL method, Rotation Augmented Distillation (RAD), which achieves one of the top-tier performances under the Exemplar-Free setting. Detailed analysis shows our RAD benefits from the superior balance between plasticity and stability. Finally, more challenging exemplar-free settings with fewer initial classes are undertaken for further demonstrations and comparisons among the state-of-the-art methods.
• Abstract（参考訳）: クラスインクリメンタルラーニング(CIL)は、インクリメンタルタスクに沿って、古いクラスと新しいクラスの両方を認識することを目的としている。 CILのディープニューラルネットワークは破滅的な忘れ込みに悩まされており、いくつかのアプローチでは、この問題を軽減するために、exemplar-based settingとして知られる以前のタスクからexemplarsを保存することに頼っている。 それとは対照的に,本論文では,古いクラスサンプルが保存されていないExemplar-Freeセッティングに焦点を当てている。 深層機能学習における可塑性と安定性のバランス付けは、新しいクラスからの監督だけでは困難である。 既存のExemplar-Free CILメソッドの多くは、全体的なパフォーマンスのみを報告し、さらなる分析を欠いている。 本研究では, 相補的な指標を用いて, 異なる手法を詳細に検討する。 さらに, 簡易なCIL法である回転拡張蒸留法 (RAD) を提案し, この手法は, Exemplar-Free 設定下での最上位性能の1つを実現する。 詳細な分析によると、RADの利点は可塑性と安定性のバランスが優れていることを示している。 最後に、最先端メソッドのさらなるデモと比較のために、初期クラスを減らしたより難易度の高い例のない設定を行う。

関連論文リスト

• Strike a Balance in Continual Panoptic Segmentation [60.26892488010291]
  既存の知識の安定性と新しい情報への適応性のバランスをとるため,過去クラスのバックトレース蒸留を導入する。 また,リプレイ用サンプルセットのクラス分布と過去のトレーニングデータとの整合性を考慮したクラス比記憶戦略を導入する。 連続パノプティカルバランス(BalConpas)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:58:20Z)
• Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning [13.264972882846966]
  継続的な学習方法は破滅的な忘れ込みに苦しむことが知られている。 既存のexemplar-freeメソッドは、通常、最初のタスクがその後のタスクよりもかなり大きい設定で評価される。 本稿では, 従来のモデル埋め込み空間において, 組込みが旧型プロトタイプに近いように, 現在のサンプルを逆向きに摂動させることを提案する。 次に,従来のモデルから新しいモデルへの埋め込み空間のドリフトを摂動画像を用いて推定し,それに応じてプロトタイプを補償する。
  論文  参考訳（メタデータ） (2024-05-29T13:31:42Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Efficient Curriculum based Continual Learning with Informative Subset Selection for Remote Sensing Scene Classification [27.456319725214474]
  光リモートセンシング(RS)画像からランドカバー分類の領域におけるクラスインクリメンタルラーニング(CIL)の問題に取り組む。 本稿では,最近のリプレイメモリ方式の成功に触発された新しいCILフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-03T01:25:40Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Fast Hierarchical Learning for Few-Shot Object Detection [57.024072600597464]
  転送学習アプローチは、最近、数ショット検出タスクで有望な結果を得た。 これらのアプローチは、ベース検出器の微調整による破滅的な忘れ込みの問題に悩まされる。 この作業における上記の問題に対処する。
  論文  参考訳（メタデータ） (2022-10-10T20:31:19Z)
• Uncertainty-aware Contrastive Distillation for Incremental Semantic Segmentation [46.14545656625703]
  破滅的な忘れ物とは、ニューラルネットワークが、新しいタスクを学ぶときに、古いタスクから得た知識を保存できない傾向があることです。 我々は新しい蒸留フレームワークである不確かさを意識したコントラスト蒸留法(メソッド)を提案する。 本研究は, 従来のIL法と相乗効果を持つ蒸留法の利点を実証するものである。
  論文  参考訳（メタデータ） (2022-03-26T15:32:12Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
  連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。 いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。 連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
  論文  参考訳（メタデータ） (2021-08-15T15:05:02Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。