論文の概要: From Weights to Features: SAE-Guided Activation Regularization for LLM Continual Learning

• arxiv url: http://arxiv.org/abs/2606.26629v1
• Date: Thu, 25 Jun 2026 05:46:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.181695
• Title: From Weights to Features: SAE-Guided Activation Regularization for LLM Continual Learning
• Title（参考訳）: 重みから特徴へ: LLM連続学習のためのSAE誘導活性化規則化
• Abstract要約: 重み空間正規化法は,大規模言語モデルに適用した場合,性能が低下する傾向にある。 このような過小評価は、大言語モデルの多意味性によって部分的に説明できると論じる。 本稿では,事前訓練されたスパースオートエンコーダ(SAE)を単意味特徴辞書として用いて,モデルのアクティベーション空間における正規化を提案する。
• 参考スコア（独自算出の注目度）: 27.99569196305413
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Weight-space regularization methods such as Elastic Weight Consolidation (EWC) are the standard approach to catastrophic forgetting in continual learning. However, those methods tend to underperform when applied to large language models. We argue that such underperformance can be partly explained by the ``polysemantic'' nature of large language models: per-weight importance estimates utilized by EWC-style regularization are too coarse and cannot isolate the knowledge that needs protection. In this paper, we propose regularizing instead in the model's activation space, using pretrained Sparse Autoencoders (SAEs) as a monosemantic feature dictionary. From the perspective of constrained optimization, we derive a new loss function that uses the SAE feature dictionary to explicitly balance stability and plasticity, and show that EWC is a special case in the one-sided weight-space penalty setting. Unlike replay-based methods that store or revisit examples from earlier tasks, our method requires no previous-task data after mask construction: current-task data is used to compute a compact SAE feature mask, and only this mask is retained for later training. Further, since the feature space has significantly lower dimensionality than the parameter space, the proposed method is more memory efficient. On the TRACE and MedCL continual learning benchmarks, the method achieves the strongest result among approaches without introducing task-specific architectural components, also surpassing traditional weight-space regularization methods like EWC. Beyond performance comparisons, we provide empirical evidence for the polysemanticity thesis: task-relevant representations are linearly separable in the SAE feature basis but indistinguishable from chance in the weight basis, and weight-space protection is nearly non-selective at the concept level.
• Abstract（参考訳）: EWC(Elastic Weight Consolidation)のような重み空間正規化手法は、連続学習における破滅的な忘れに対する標準的なアプローチである。 しかし、これらの手法は大規模言語モデルに適用された場合、性能が劣る傾向にある。 EWCスタイルの正規化で利用される重み付き重み付き重要度推定は、あまりに粗いので、保護を必要とする知識を分離できない。 本稿では,事前訓練されたスパースオートエンコーダ(SAE)を単意味特徴辞書として用いて,モデルのアクティベーション空間における正規化を提案する。 制約最適化の観点からは、SAE特徴辞書を用いて安定性と可塑性を明示的にバランスさせる新たな損失関数を導出し、一方の重み空間のペナルティ設定において、EWCが特別な場合であることを示す。 従来のタスクからサンプルを格納・再作成するリプレイ方式とは異なり,マスク構築後のタスク前処理は不要である。 さらに,特徴空間の次元性はパラメータ空間よりも著しく低いため,提案手法はよりメモリ効率がよい。 TRACE と MedCL の連続学習ベンチマークでは,タスク固有のアーキテクチャコンポーネントを導入することなく,EWC のような従来の重み空間正規化手法を超越したアプローチで最強の結果が得られた。 タスク関連表現はSAE特徴量ベースでは線形分離可能であるが、重みベースでは確率と区別がつかず、重み空間保護は概念レベルではほとんど選択できない。

関連論文リスト

• SAW: Stage-Aware Dynamic Weighting for Multi-Objective Reinforcement Learning in Large Language Models [66.92079232778707]
  本稿では,アルゴリズムに依存しない軽量な動的重み付け機構として,SAW(Stage-Aware Dynamic Weighting)を提案する。 SAWは、各次元の報酬または利益の貢献を、バッチ内の相対的な情報性によって重み付けする。 ツールコールとテキスト要約タスクの実験により、SAWはトレーニング効率と最終的なパフォーマンスの両方を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-06-05T10:00:19Z)
• MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models [64.2820121997882]
  MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
  論文  参考訳（メタデータ） (2026-05-20T03:03:04Z)
• ELLA: Efficient Lifelong Learning for Adapters in Large Language Models [12.489255789379817]
  大規模言語モデル(LLM)は、連続的な学習環境において、新しいタスクに逐次適応する際、深刻な破滅的な忘れを被る。 本稿では,選択部分空間デコリレーションの原理に基づくトレーニングフレームワークであるELLAを紹介する。 ELLAは、過去の更新の構造を明示的に特徴づけ、高エネルギーでタスク固有の方向に沿ってアライメントを罰する。 3つの人気のあるベンチマークで最先端のCL性能を達成し、相対的精度は9.6%、メモリフットプリントは35倍になる。
  論文  参考訳（メタデータ） (2026-01-05T15:58:08Z)
• Interpretable Safety Alignment via SAE-Constructed Low-Rank Subspace Adaptation [13.509767769174422]
  大規模な言語モデルをトレーニングし、有害な要求を拒否するためには、安全性の調整が不可欠である。 Low-Rank Adaptation (LoRA) は、安全ベンチマークにおける完全な微調整と強化学習を一貫して過小評価している。 このギャップに対処するため、SAILS (Safety Alignment via Interpretable Low-rank Subspace)を提案する。
  論文  参考訳（メタデータ） (2025-12-29T07:39:49Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
  既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。 まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。 本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-16T20:58:05Z)
• Constrained Entropic Unlearning: A Primal-Dual Framework for Large Language Models [14.321060805197874]
  大規模言語モデル(LLM)が現実の環境でデプロイされるようになると、機密性、時代遅れ、あるいはプロプライエタリな情報を漏らさなくてはならなくなる。 既存の未学習の手法は、忘れと保持を規則化されたトレードオフとして定式化し、両方の目的を1つのスカラー化された損失に組み合わせる。 制約付き最適化問題として,LLMアンラーニングの新たな定式化を提案する。
  論文  参考訳（メタデータ） (2025-06-05T17:55:23Z)
• Forget Forgetting: Continual Learning in a World of Abundant Memory [55.64184779530581]
  継続的な学習は伝統的に、模範記憶の最小化に重点を置いてきた。 本稿では、より現実的な体制を探求することによって、このパラダイムに挑戦する。 モデルが以前のタスクに偏り、新しいタスクを学ぶのに苦労するようになるにつれて、中心的な課題が安定性から可塑性へと変化していくことが分かっています。
  論文  参考訳（メタデータ） (2025-02-11T05:40:52Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• Vocabulary-level Memory Efficiency for Language Model Fine-tuning [36.1039389951318]
  微調整中,語彙のかなりの割合が未使用であることが判明した。 本稿では,メモリ使用量を最小限に抑えるため,この発見を利用したシンプルで効果的な手法を提案する。 我々の手法は、より効率的な計算資源の利用を可能にしながら、下流のタスク性能に影響を与えない。
  論文  参考訳（メタデータ） (2023-09-15T19:00:00Z)
• Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
  クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。 セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。 提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
  論文  参考訳（メタデータ） (2020-12-08T18:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。