論文の概要: Relative Parameter Importance in Task-Agnostic Replay-Free Continual Learning

• arxiv url: http://arxiv.org/abs/2608.00630v1
• Date: Sat, 01 Aug 2026 12:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.83104
• Title: Relative Parameter Importance in Task-Agnostic Replay-Free Continual Learning
• Title（参考訳）: タスク非依存型リプレイフリー連続学習における相対的パラメータの重要性
• Authors: Malavika Suresh, Ikechukwu Nkisi-Orji, Nirmalie Wiratunga,
• Abstract要約: 本稿では,現在および過去のタスクに対して,各パラメータの相対的重要性を測定するための新しい尺度である相対的パラメータ重要度を紹介する。 従来の手法とは異なり,本手法では,相対重要度が低い場合に,パスタスクの重要度が高いパラメータを更新できる。 クラス増分とドメイン増分の両方の学習テキスト分類問題に対して、最先端のCL手法に対する改善を示す。
• 参考スコア（独自算出の注目度）: 2.141079906482723
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Achieving continual learning (CL) with deep neural networks requires balancing stability and plasticity while enabling knowledge transfer. In this work, we focus on offline learning algorithms under the constraints: (I) no access to training data from prior tasks (II) no access to task-id at inference time. We introduce a novel measure, the relative parameter-importance, which measures the relative importance of each parameter with respect to both the current and past tasks. Parameters with high relative importance are interpreted as more important for maintaining past-task stability and thus heavily regularised, whereas parameters with low relative-importance are allowed to be more freely updated. Unlike existing methods, our approach allows the update of parameters with high past-task importance when they have low relative-importance, thus enabling backward knowledge transfer in addition to tackling the stability-plasticity trade-off. We demonstrate improvements against state-of-the-art CL methods on both class-incremental and domain-incremental learning text classification problems and provide insights for extending our method to text generation problems. Code available at: https://github.com/itsmemala/LACL
• Abstract（参考訳）: 深いニューラルネットワークで連続学習(CL)を実現するには、知識伝達を可能にしながら安定性と可塑性のバランスが必要である。 本研究では,制約下でのオフライン学習アルゴリズムに焦点をあてる。 (I) 事前タスクからのトレーニングデータへのアクセス(II) 推論時にタスクIDにアクセスできない。 本稿では,現在および過去のタスクに対して,各パラメータの相対的重要性を測定するための新しい尺度である相対的パラメータ重要度を紹介する。 相対的重要性の高いパラメータは、過去のタスク安定性を維持する上でより重要であると解釈され、したがって非常に規則化された。 従来の手法と異なり, 相対重要度が低い場合, パスタスクの重要度が高いパラメータの更新が可能であり, 安定性と塑性のトレードオフに対処できる。 クラス増分学習とドメイン増分学習の両テキスト分類問題に対する最先端CL手法の改善を実証し,本手法をテキスト生成問題に拡張するための洞察を提供する。 https://github.com/itsmemala/LACL

関連論文リスト

• Attribution-Guided Continual Learning for Large Language Models [32.34727629126595]
  大規模言語モデル(LLM)は、連続学習における破滅的な忘れ込みに悩まされることが多い。 既存の方法は、データ再生、パラメータ凍結、正規化によって破滅的な忘れを緩和する。 LLMのための帰属誘導型連続微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-06T17:38:13Z)
• InTAct: Interval-based Task Activation Consolidation for Continual Learning [8.228364777296195]
  Intactは、パラメータを凍結したり過去のデータを保存したりすることなく、共有レイヤで機能的な振舞いを保存する。 そうすることで、Intactはパラメータ値を直接制限するのではなく、重要なニューロンの機能的役割を安定化する。 さまざまなドメイン-インクリメンタルベンチマークを通じて、InTActは表現のドリフトを一貫して削減し、パフォーマンスを向上する。
  論文  参考訳（メタデータ） (2025-11-21T17:36:12Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Learning without Isolation: Pathway Protection for Continual Learning [64.3476595369537]
  ディープネットワークは、シーケンシャルなタスク学習中に破滅的な忘れをしがちだ。 モデル融合をグラフマッチングとして定式化する新しいCLフレームワークLwIを提案する。 深層ネットワークにおける活性化チャネルの広がりにより、LwIは新しいタスクのために利用可能な経路を適応的に割り当て、経路保護を実現し、破滅的な忘れに対処することができる。
  論文  参考訳（メタデータ） (2025-05-24T07:16:55Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation [0.0]
  本稿では、パラメータに基づく不確実性を用いて、ネットワークの学習機能に関連するパラメータを決定することを提案する。 平均テスト精度と後方転送の指標に対する連続学習性能の改善を示す。
  論文  参考訳（メタデータ） (2025-01-18T19:58:53Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Continual Learning via Bit-Level Information Preserving [88.32450740325005]
  我々は情報理論のレンズを通して連続学習過程を研究する。 モデルパラメータの情報利得を維持するビットレベル情報保存(BLIP)を提案する。 BLIPは、連続的な学習を通してメモリオーバーヘッドを一定に保ちながら、ほとんど忘れることができない。
  論文  参考訳（メタデータ） (2021-05-10T15:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。