論文の概要: Beyond Parameter Protection: Fisher-Shaped EWC for Replay-Free Continual Learning

• arxiv url: http://arxiv.org/abs/2610.37145v1
• Date: Tue, 27 Oct 2026 12:42:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.587125
• Title: Beyond Parameter Protection: Fisher-Shaped EWC for Replay-Free Continual Learning
• Title（参考訳）: パラメータ保護を超えて:リプレイフリー連続学習のためのフィッシャー形状EWC
• Abstract要約: Elastic Weight Consolidation (EWC)は、取得した知識を保護するためにFisher情報マトリックス(FIM)を使用する。 本稿では,FS-EWC(Fisher-Shaped EWC)を提案する。
• 参考スコア（独自算出の注目度）: 19.41163334381554
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In replay-free continual learning, Elastic Weight Consolidation (EWC) uses Fisher information matrix (FIM) to protect acquired knowledge by penalizing changes to historically important parameters. However, a local importance estimate at the retained solution does not in general characterize sensitivity after finite parameter displacement. This motivates controlling Fisher sensitivity over a neighborhood of potential future updates. We propose Fisher-Shaped EWC (FS-EWC), which extends the role of FIM from parameter protection to solution formation for future retention. During task learning, FS-EWC minimizes the worst-case empirical FIM trace within a prescribed neighborhood, explicitly favoring solutions that are less sensitive to bounded future displacement. At task completion, trajectory-based model merging constructs the retained solution from multiple optimization states rather than a single terminal iterate, after which FIM is estimated for subsequent consolidation. Experiments across multiple benchmarks show that FS-EWC improves performance over EWC, while controlled studies indicate a more favorable stability--plasticity balance and greater tolerance to parameter drift. These results suggest that effective knowledge retention requires both forming solutions with future retention in mind and protecting acquired knowledge.
• Abstract（参考訳）: リプレイフリー連続学習では、Elastic Weight Consolidation (EWC) はフィッシャー情報マトリックス (Fiher InformationMatrix,FIM) を使用して、歴史的に重要なパラメータに変化をペナルライズすることで獲得した知識を保護する。 しかし、保持された解における局所的な重要度推定は、一般に有限パラメータ変位後の感度を特徴づけるものではない。 これは、将来のアップデートの近辺でフィッシャーの感度を制御する動機となっている。 本稿では,FS-EWC(Fisher-Shaped EWC)を提案する。 タスク学習中、FS-EWCは所定の地区内における最悪の経験的FIMトレースを最小限に抑え、境界のある将来の変位に敏感でないソリューションを明示的に好んでいる。 タスク完了時に、トラジェクトリベースのモデルマージは、単一の端末イテレートではなく、複数の最適化状態から保持されたソリューションを構築し、その後、FIMをその後の統合のために推定する。 複数のベンチマークでの実験では、FS-EWCはEWCよりも性能を向上し、制御された研究はより良好な安定性-塑性バランスとパラメータドリフトに対する耐性を示している。 これらの結果は、効果的な知識保持には、将来の保持を念頭に置いてソリューションを形成することと、獲得した知識を保護することの両方が必要であることを示唆している。

関連論文リスト

• Theoretical Foundations of Continual Learning via Drift-Plus-Penalty [6.614755043607776]
  継続的な学習(CL)は、破滅的な忘れを緩和しながら新しいタスクを取り入れることでこの課題に対処する。 我々は,忘れることの進化を明示的に制御する制御理論的な視点をCLに導入する。 我々は,Drift-PlusPenalty原則を最適化した継続的フレームワークであるCentinual Learning with Drift-PlusPenalty(COLD)を提案する。
  論文  参考訳（メタデータ） (2026-06-07T04:51:32Z)
• PEFT-Arena: Understanding Parameter-Efficient Finetuning from a Stability-Plasticity Perspective [52.693471818837395]
  PEFTは安定性・塑性ジレンマにより評価されるべきである。 本稿では,下流性能と一般能力の維持を計測するベンチマークPEFT-Arenaを紹介する。 そこで本研究では,パスワイド巻き戻しによるポストホック改善の事例研究を行った。
  論文  参考訳（メタデータ） (2026-05-27T17:59:51Z)
• Elastic Weight Consolidation Done Right for Continual Learning [12.226768097023475]
  EWC(Elastic Weight Consolidation)は、勾配に基づいて重みを推定する。 EWCのFiher Information Matrix (FIM)への依存は、勾配の消失と不正確な重要度推定をもたらす。 本稿では,EWC の重要度推定を補正する簡易かつ効果的な修正である Logits Reversal (LR) 演算を提案する。
  論文  参考訳（メタデータ） (2026-03-19T08:06:56Z)
• Steering Vision-Language Pre-trained Models for Incremental Face Presentation Attack Detection [62.89126207012712]
  顔提示攻撃検出(PAD)は、スプーフィング戦術やドメインと戦うために漸進的な学習を要求する。 過去のデータ保持を禁止し、リハーサルフリーラーニング(RF-IL)を必要とするプライバシー規制
  論文  参考訳（メタデータ） (2025-12-22T04:30:11Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。