論文の概要: SPARS: A Stability-Plasticity-Aware Region Selection Framework for Continual Learning

• arxiv url: http://arxiv.org/abs/2610.19876v1
• Date: Wed, 14 Oct 2026 09:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.072286
• Title: SPARS: A Stability-Plasticity-Aware Region Selection Framework for Continual Learning
• Title（参考訳）: SPARS: 連続学習のための安定性に配慮した領域選択フレームワーク
• Abstract要約: 本稿では,安定性と塑性のトレードオフを維持するため,SPARS(Stable-Plasticity-Aware Region Selection)を提案する。 SPARSは、Fiher Information Matrix (FIM) または新しいConfidence Score (CS) 推定器を用いてパラメータの重要性を推定する。 CIFAR-10とTinyImageNetの実験では、既存の分離および正規化に基づく手法よりも平均的なインクリメンタル精度が一貫した改善が示されている。
• 参考スコア（独自算出の注目度）: 0.40527583944137263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning aims to acquire new knowledge while retaining previously learned knowledge. However, updating shared parameters when learning new tasks often overwrites existing knowledge, causing catastrophic forgetting. Memory replay methods mitigate catastrophic forgetting but rely on previous samples, raising privacy, memory, and scalability concerns. On the other hand, parameter isolation-based methods preserve learned knowledge but may limit knowledge transfer, whereas regularization promotes adaptability but remains susceptible to interference between old and new tasks. To maintain the stability-plasticity trade-off, this paper proposes Stability-Plasticity-Aware Region Selection (SPARS), a replay-free hybrid framework combining global parameter isolation with localized parameter regularization. SPARS estimates parameter importance using either the Fisher Information Matrix (FIM) or a novel Confidence Score (CS) estimator that leverages logit sensitivity and achieves comparable performance to FIM without requiring labelled data. Based on parameter importance, SPARS partitions parameters into three importance-aware regions namely, winning, neighboring, and non-important parameter regions. Each region receives a different adaptation strategy: selective freezing, soft regularization, or unrestricted learning based on its role in the stability-plasticity trade-off. To mitigate classifier bias in class-incremental learning, we employ Quadratic Discriminant Analysis to improve performance on previously learned classes .Experiments on CIFAR-10 and TinyImageNet demonstrate consistent improvement in average incremental accuracy over existing isolation- and regularization-based methods across task- and class-incremental learning. On TinyImageNet, SPARS achieves the best performance with 6% improvement for class-incremental learning while retaining over 60% of parameters for future tasks.
• Abstract（参考訳）: 継続的な学習は、学習した知識を維持しながら、新しい知識を獲得することを目的としている。 しかし、新しいタスクを学ぶときの共有パラメータの更新は、しばしば既存の知識を上書きし、破滅的な忘れを引き起こす。 メモリリプレイメソッドは、破滅的な忘れを緩和するが、以前のサンプルに依存し、プライバシ、メモリ、スケーラビリティの懸念を提起する。 一方,パラメータ分離に基づく手法は知識の伝達を制限するが,正規化は適応性を促進するが,従来のタスクと新しいタスクの干渉の影響を受けない。 本稿では,グローバルパラメータ分離と局所化パラメータ正規化を組み合わせたリプレイフリーハイブリッドフレームワークであるSPARSを提案する。 SPARSは、ロジット感度を活用し、ラベル付きデータを必要としないFIMに匹敵する性能を実現する、Fisher Information Matrix (FIM) または新しいConfidence Score (CS) 推定器を用いてパラメータの重要性を推定する。 パラメータの重要性に基づいて、SPARSはパラメータを3つの重要認識領域、すなわち勝利、隣人、重要でないパラメータ領域に分割する。 各地域は、安定-塑性トレードオフにおける役割に基づいて、選択的凍結、ソフトレギュラー化、または制限なし学習という、異なる適応戦略を受ける。 クラス増分学習における分類器バイアスを軽減するために,従来学習されていたクラスの性能向上のために,擬似判別分析を用いる。 CIFAR-10とTinyImageNetの実験では、タスクおよびクラス増分学習における既存の分離および正規化に基づく手法よりも、平均的なインクリメンタル精度が一貫した改善を示した。 TinyImageNetでは、SPARSはクラス増分学習の6%改善とともに、将来のタスクの60%以上のパラメータを保持しながら、最高のパフォーマンスを実現している。

関連論文リスト

• Selective Backpropagation for Efficient Few-Shot Class-Incremental Learning [4.243926243206826]
  FSCIL(Few-Shot Class-Incremental Learning)は、限られたサンプルから新しいクラスを継続的に学習するモデルを必要とする。 単純な微調整は計算的に効率的だが、破滅的な忘れ込みに悩まされている。 本稿では,このギャップを埋める決定論的パラメータ予算フレームワークである選択的バックプロパゲーション(SBP)を提案する。
  論文  参考訳（メタデータ） (2026-10-02T20:06:45Z)
• Relative Parameter Importance in Task-Agnostic Replay-Free Continual Learning [2.141079906482723]
  本稿では,現在および過去のタスクに対して,各パラメータの相対的重要性を測定するための新しい尺度である相対的パラメータ重要度を紹介する。 従来の手法とは異なり,本手法では,相対重要度が低い場合に,パスタスクの重要度が高いパラメータを更新できる。 クラス増分とドメイン増分の両方の学習テキスト分類問題に対して、最先端のCL手法に対する改善を示す。
  論文  参考訳（メタデータ） (2026-08-01T12:38:55Z)
• Janus-LoRA: A Balanced Low-Rank Adaptation for Continual Learning [122.06915301391616]
  Low-Rank Adaptation (LoRA)は、継続的学習のための有望なパラダイムとして登場した。 このバランスを2つの新しいコンポーネントを通して復元するフレームワークである textbfJanus-LoRA を提案する。
  論文  参考訳（メタデータ） (2026-05-27T13:53:14Z)
• InTAct: Interval-based Task Activation Consolidation for Continual Learning [8.228364777296195]
  Intactは、パラメータを凍結したり過去のデータを保存したりすることなく、共有レイヤで機能的な振舞いを保存する。 そうすることで、Intactはパラメータ値を直接制限するのではなく、重要なニューロンの機能的役割を安定化する。 さまざまなドメイン-インクリメンタルベンチマークを通じて、InTActは表現のドリフトを一貫して削減し、パフォーマンスを向上する。
  論文  参考訳（メタデータ） (2025-11-21T17:36:12Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
  本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。 平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
  論文  参考訳（メタデータ） (2025-01-18T19:58:53Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。