論文の概要: REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning

• arxiv url: http://arxiv.org/abs/2403.13522v2
• Date: Sat, 24 May 2025 08:14:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:41.336028
• Title: REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning
• Title（参考訳）: REAL: 卓越したクラス増分学習のための表現強化型分析学習
• Authors: Run He, Di Fang, Yizhu Chen, Kai Tong, Cen Chen, Yi Wang, Lap-pui Chau, Huiping Zhuang,
• Abstract要約: Exemplar-free Class-Incremental Learning (EFCIL) は、学級増進学習(CIL)における破滅的な忘れを、模範として利用可能な過去のトレーニングサンプルなしで軽減することを目的としている。 近年、ACL(Analytic Continual Learning)と呼ばれる新しいEFCILブランチが、勾配のないパラダイムを導入している。 本稿では,これらの問題に対処するための表現強化分析学習(REAL)を提案する。
• 参考スコア（独自算出の注目度）: 21.98964541770695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exemplar-free class-incremental learning (EFCIL) aims to mitigate catastrophic forgetting in class-incremental learning (CIL) without available historical training samples as exemplars. Compared with its exemplar-based CIL counterpart that stores exemplars, EFCIL suffers more from forgetting issues. Recently, a new EFCIL branch named Analytic Continual Learning (ACL) introduces a gradient-free paradigm via Recursive Least-Square, achieving a forgetting-resistant classifier training with a frozen backbone during CIL. However, existing ACL suffers from ineffective representations and insufficient utilization of backbone knowledge. In this paper, we propose a representation-enhanced analytic learning (REAL) to address these problems. To enhance the representation, REAL constructs a dual-stream base pretraining followed by representation enhancing distillation process. The dual-stream base pretraining combines self-supervised contrastive learning for general features and supervised learning for class-specific knowledge, followed by the representation enhancing distillation to merge both streams, enhancing representations for subsequent CIL paradigm. To utilize more knowledge from the backbone, REAL presents a feature fusion buffer to multi-layer backbone features, providing informative features for the subsequent classifier training. Our method can be incorporated into existing ACL techniques and provides more competitive performance. Empirical results demonstrate that, REAL achieves state-of-the-art performance on CIFAR-100, ImageNet-100 and ImageNet-1k benchmarks, outperforming exemplar-free methods and rivaling exemplar-based approaches.
• Abstract（参考訳）: Exemplar-free Class-Incremental Learning (EFCIL) は、学級増進学習(CIL)における破滅的な忘れを、模範として利用可能な過去のトレーニングサンプルなしで軽減することを目的としている。 EFCILは、前例のCILと比べ、前例のCILと比べ、問題を忘れることに苦しむ。 最近、ACL(Analytic Continual Learning)と呼ばれる新しいEFCILブランチがRecursive Least-Squareを介して勾配のないパラダイムを導入し、CIL中に凍結したバックボーンを使って、忘れがちな分類器のトレーニングを実現した。 しかし、既存のACLは非効率な表現とバックボーン知識の不十分な利用に悩まされている。 本稿では,これらの問題に対処するための表現強化分析学習(REAL)を提案する。 表現を高めるため、REALは二重ストリームベースプレトレーニングを行い、その後、表現強化蒸留プロセスを構築した。 二重ストリームベースプレトレーニングは、一般的な特徴に対する自己教師付きコントラスト学習とクラス固有の知識のための教師付き学習を組み合わせる。 バックボーンからより多くの知識を活用するために、REALは多層バックボーン機能にフィーチャーフュージョンバッファを提示し、その後の分類器訓練のための情報機能を提供する。 我々の手法は既存のACL技術に組み込むことができ、より競争力のある性能を提供する。 実証的な結果は、REALがCIFAR-100、ImageNet-100、ImageNet-1kベンチマークで最先端のパフォーマンスを達成し、模範のない手法よりも優れ、模範的なアプローチに対抗していることを示している。

関連論文リスト

• SphOR: A Representation Learning Perspective on Open-set Recognition for Identifying Unknown Classes in Deep Learning Models [1.2172320168050468]
  我々は,特徴空間をフォン・ミセス・フィッシャー分布の混合としてモデル化する表現学習手法であるSphORを紹介する。 このアプローチは、トレーニング中に意味的に曖昧なサンプルを使用することを可能にし、未知のクラスからのサンプルの検出を改善する。
  論文  参考訳（メタデータ） (2025-03-11T05:06:11Z)
• Training Strategies for Isolated Sign Language Recognition [72.27323884094953]
  本稿では,孤立手話認識のための包括的モデル学習パイプラインを提案する。 構築されたパイプラインには、慎重に選択された画像とビデオの拡張が含まれており、低いデータ品質とさまざまなサインスピードの課題に対処している。 WLASLとSlovoのベンチマークでは、以前のベストソリューションと比較して1.63%と14.12%の改善が得られた。
  論文  参考訳（メタデータ） (2024-12-16T08:37:58Z)
• DS-AL: A Dual-Stream Analytic Learning for Exemplar-Free Class-Incremental Learning [27.585993693155217]
  クラスインクリメンタル・ラーニング (CIL) は, 先進的な制約を伴わず, 重大な課題を呈している。 本稿では,Dual-Stream Analytic Learning (DS-AL) アプローチを提案する。 実証実験の結果、DS-ALは非標準技術であるにもかかわらず、リプレイベースの手法に匹敵する性能を提供することが示された。
  論文  参考訳（メタデータ） (2024-03-26T09:04:18Z)
• Exemplar-Free Class Incremental Learning via Incremental Representation [26.759108983223115]
  古い擬似機能を構築することなく, efCIL のためのtextbfsimple Incremental Representation (IR) フレームワークを提案する。 IRはデータセット拡張を利用して、適切な特徴空間をカバーし、単一のL2スペースメンテナンス損失を使用することでモデルを忘れないようにしている。
  論文  参考訳（メタデータ） (2024-03-24T16:29:50Z)
• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
  異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。 本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-06T14:49:59Z)
• Learning Deep Representations via Contrastive Learning for Instance Retrieval [11.736450745549792]
  本稿では、インスタンス識別に基づくコントラスト学習(CL)を用いて、この問題に取り組むための最初の試みを行う。 本研究では、事前学習されたCLモデルと微調整されたCLモデルから識別表現を導出する能力を探求することにより、この問題に対処する。
  論文  参考訳（メタデータ） (2022-09-28T04:36:34Z)
• CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
  我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。 このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
  論文  参考訳（メタデータ） (2022-05-02T14:42:05Z)
• R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning [64.7996065569457]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、新しい知識を学ぶ際に、破滅的な忘れ方に苦しむ。 近年のDFCIL研究は、従来のクラスのデータ合成のためのモデル反転のような手法を導入している。 本稿では、R-DFCILと呼ばれるDFCILのための関係誘導型表現学習(RRL)を提案する。
  論文  参考訳（メタデータ） (2022-03-24T14:54:15Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• IB-DRR: Incremental Learning with Information-Back Discrete Representation Replay [4.8666876477091865]
  インクリメンタルラーニングは、機械学習モデルが新しいクラスから新しい知識を継続的に取得できるようにすることを目的としている。 以前に見たクラスのトレーニングサンプルのサブセットをメモリに保存し、新しいトレーニングフェーズ中に再生することは、この目標を達成するために効率的で効果的な方法であることが証明されています。 しかし、モデルパフォーマンスと各クラスに保存するサンプル数とのトレードオフを見つけることは、リプレイベースの漸進学習では依然として未解決の問題である。
  論文  参考訳（メタデータ） (2021-04-21T15:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。