論文の概要: Restoring Forgotten Knowledge in Non-Exemplar Class Incremental Learning through Test-Time Semantic Evolution

• arxiv url: http://arxiv.org/abs/2503.16793v1
• Date: Fri, 21 Mar 2025 02:02:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:56:59.385191
• Title: Restoring Forgotten Knowledge in Non-Exemplar Class Incremental Learning through Test-Time Semantic Evolution
• Title（参考訳）: テスト時間セマンティック進化による非経験的授業インクリメンタルラーニングにおける忘れられた知識の復元
• Authors: Haori Lu, Xusheng Cao, Linlan Huang, Enguang Wang, Fei Yang, Xialei Liu,
• Abstract要約: NECIL(Non-exemplar Class Incremental Learning)では、古いクラスがアクセスできないため、忘れることが発生する。 テスト時セマンティックドリフト補償フレームワークであるRoSEを提案する。 CIFAR-100, TinyImageNet, ImageNet100データセット上のRoSEを, コールドスタートとウォームスタートの両方の設定で評価した。
• 参考スコア（独自算出の注目度）: 11.50324946279326
• License:
• Abstract: Continual learning aims to accumulate knowledge over a data stream while mitigating catastrophic forgetting. In Non-exemplar Class Incremental Learning (NECIL), forgetting arises during incremental optimization because old classes are inaccessible, hindering the retention of prior knowledge. To solve this, previous methods struggle in achieving the stability-plasticity balance in the training stages. However, we note that the testing stage is rarely considered among them, but is promising to be a solution to forgetting. Therefore, we propose RoSE, which is a simple yet effective method that \textbf{R}est\textbf{o}res forgotten knowledge through test-time \textbf{S}emantic \textbf{E}volution. Specifically designed for minimizing forgetting, RoSE is a test-time semantic drift compensation framework that enables more accurate drift estimation in a self-supervised manner. Moreover, to avoid incomplete optimization during online testing, we derive an analytical solution as an alternative to gradient descent. We evaluate RoSE on CIFAR-100, TinyImageNet, and ImageNet100 datasets, under both cold-start and warm-start settings. Our method consistently outperforms most state-of-the-art (SOTA) methods across various scenarios, validating the potential and feasibility of test-time evolution in NECIL.
• Abstract（参考訳）: 継続的な学習は、破滅的な忘れを緩和しながら、データストリームに知識を蓄積することを目的としている。 非典型的なクラスインクリメンタルラーニング(NECIL)では、古いクラスがアクセスできないため、インクリメンタル最適化中に忘れられ、事前知識の保持を妨げる。 これを解決するために、従来の手法は訓練段階における安定性と塑性のバランスを達成するのに苦労した。 しかし、テスト段階はそれらの中ではめったに考慮されないが、忘れる解決策になることを約束している。 そこで,本論文では, テスト時間 textbf{S}emantic \textbf{E}volution を通じて, 忘れられた知識を抽出する, 単純かつ効果的な方法であるRoSEを提案する。 特に、忘れを最小化するために設計されたRoSEは、自己監督的な方法でより正確なドリフト推定を可能にするテスト時セマンティックドリフト補償フレームワークである。 さらに,オンラインテストにおける不完全な最適化を避けるため,勾配降下の代替として解析解を導出する。 CIFAR-100, TinyImageNet, ImageNet100データセット上のRoSEを, コールドスタートとウォームスタートの両方の設定で評価した。 提案手法は, NECIL におけるテスト時間進化の可能性と実現可能性を検証するため, 様々なシナリオにおいて, 最先端 (SOTA) 手法を常に上回っている。

関連論文リスト

• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• An Effective Dynamic Gradient Calibration Method for Continual Learning [11.555822066922508]
  継続的学習(CL)は機械学習の基本的なトピックであり、目標は連続的なデータとタスクでモデルをトレーニングすることだ。 メモリ制限のため、すべての履歴データを保存できないため、破滅的な忘れの問題に直面します。 モデルの各更新ステップの勾配をキャリブレーションする有効なアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-07-30T16:30:09Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• EvCenterNet: Uncertainty Estimation for Object Detection using Evidential Learning [26.535329379980094]
  EvCenterNetは、新しい不確実性を認識した2Dオブジェクト検出フレームワークである。 分類と回帰の不確実性の両方を推定するために、顕在的学習を用いる。 我々は、KITTIデータセット上でモデルをトレーニングし、配布外のデータセットに挑戦して評価する。
  論文  参考訳（メタデータ） (2023-03-06T11:07:11Z)
• Lifelong Intent Detection via Multi-Strategy Rebalancing [18.424132535727217]
  本稿では,新しいデータに対するIDモデルを継続的に訓練し,新たな意図を学習するライフロングインテント検出(LID)を提案する。 既存の生涯学習手法は、通常、LIDタスクにおける古いデータと新しいデータの間の深刻な不均衡に悩まされる。 本稿では,コサイン正規化,階層的知識蒸留,クラス間マージン損失からなる,新しい生涯学習手法であるMulti-Strategy Rebalancing(MSR)を提案する。
  論文  参考訳（メタデータ） (2021-08-10T04:35:13Z)
• Always Be Dreaming: A New Approach for Data-Free Class-Incremental Learning [73.24988226158497]
  データフリークラスインクリメンタルラーニング(DFCIL)における高インパクト問題について考察する。 そこで本研究では, 改良型クロスエントロピートレーニングと重要重み付き特徴蒸留に寄与するDFCILの新たなインクリメンタル蒸留戦略を提案する。 本手法は,共通クラスインクリメンタルベンチマークにおけるSOTA DFCIL法と比較して,最終タスク精度(絶対差)が25.1%向上する。
  論文  参考訳（メタデータ） (2021-06-17T17:56:08Z)
• Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
  確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。 本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。 経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
  論文  参考訳（メタデータ） (2020-06-18T19:04:09Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。