論文の概要: SAE-FD: Sparse Autoencoder Feature Distillation for Continual Learning of Large Language Models

• arxiv url: http://arxiv.org/abs/2605.25525v1
• Date: Mon, 25 May 2026 07:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:19.442142
• Title: SAE-FD: Sparse Autoencoder Feature Distillation for Continual Learning of Large Language Models
• Title（参考訳）: SAE-FD:大規模言語モデルの連続学習のためのスパースオートエンコーダ機能拡張
• Authors: Mingxu Zhang, Yuhan Li, Lujundong Li, Dazhong Shen, Hui Xiong, Ying Sun,
• Abstract要約: methodは、事前訓練されたスパースオートエンコーダのスパース特徴空間におけるモデル表現をアンカーする。 2つの連続学習ベンチマークの実験では、手法が既存の正規化に基づく手法を一貫して上回っていることが示されている。
• 参考スコア（独自算出の注目度）: 21.844862497952334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning enables large language models to adapt to evolving tasks without retraining from scratch, yet catastrophic forgetting remains a central obstacle. Among continual learning methods, regularization-based approaches are widely used to constrain model updates and reduce forgetting, operating in weight space, gradient space, or output space. However, these dense representation spaces suffer from feature superposition, where multiple concepts are encoded in overlapping dimensions, making it difficult to selectively protect previously learned knowledge without impeding new-task learning. To address this issue, we propose \method (Sparse Autoencoder Feature Distillation), which anchors model representations in the sparse feature space of a pre-trained Sparse Autoencoder, where dense activations are decomposed into a sparse overcomplete basis that reduces representational entanglement, enabling more targeted regularization with less interference to new-task learning. Experiments on two continual learning benchmarks across three model architectures show that \method consistently outperforms existing regularization-based methods, achieving up to 52.70% average accuracy with only -0.46 backward transfer.
• Abstract（参考訳）: 継続的な学習により、大きな言語モデルはスクラッチから再トレーニングすることなく、進化するタスクに適応できるが、破滅的な忘れは依然として中心的な障害である。 連続学習法のうち、正規化に基づくアプローチは、モデル更新を制限し、忘れ、重み空間、勾配空間、出力空間での操作を減らすために広く用いられている。 しかし、これらの密接な表現空間は、複数の概念が重なり合う次元に符号化される特徴重畳に悩まされており、新しいタスク学習を妨げることなく、事前に学習した知識を選択的に保護することは困難である。 そこで本研究では,事前訓練されたスパースオートエンコーダのスパース特徴空間におけるモデル表現をアンロックする<method(スパースオートエンコーダ特徴蒸留)を提案する。 3つのモデルアーキテクチャにまたがる2つの連続学習ベンチマークの実験では、\methodは既存の正規化ベースの手法を一貫して上回り、平均精度は-0.46で52.70%に達する。

関連論文リスト

• Shared LoRA Subspaces for almost Strict Continual Learning [32.4267950435704]
  大規模な事前訓練されたモデルを新しいタスクに効果的かつ継続的に適応させることは、現実世界のデプロイメントに不可欠である。 パラメータ効率の良い連続ファインタニングのための新しい手法であるShareを提案し、単一の共有低ランク部分空間を学習し動的に更新する。 単一のShareモデルは、数百のタスク固有のLoRAアダプタを置き換えることができ、スケーラブルで非同期な継続的学習をサポートする。
  論文  参考訳（メタデータ） (2026-02-05T18:59:58Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• FILP-3D: Enhancing 3D Few-shot Class-incremental Learning with Pre-trained Vision-Language Models [59.13757801286343]
  クラス増分学習(class-incremental learning)は、モデルが限られたデータで漸進的にトレーニングされている場合、破滅的な忘れの問題を軽減することを目的としている。 本稿では,特徴空間の不整合のための冗長特徴除去器 (RFE) と,重要な雑音に対する空間ノイズ補償器 (SNC) の2つの新しいコンポーネントを備えたFILP-3Dフレームワークを紹介する。
  論文  参考訳（メタデータ） (2023-12-28T14:52:07Z)
• Beyond Prototypes: Semantic Anchor Regularization for Better Representation Learning [82.29761875805369]
  表現学習の最終的な目標の1つは、クラス内のコンパクトさとクラス間の十分な分離性を達成することである。 本稿では,機能セントロイドとして機能する事前定義されたクラスアンカーを用いて,特徴学習を一方向ガイドする新しい視点を提案する。 提案したSemantic Anchor Regularization (SAR) は,既存モデルのプラグアンドプレイ方式で使用することができる。
  論文  参考訳（メタデータ） (2023-12-19T05:52:38Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Subspace Regularizers for Few-Shot Class Incremental Learning [26.372024890126408]
  既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。 この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
  論文  参考訳（メタデータ） (2021-10-13T22:19:53Z)
• Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations [18.655840060559168]
  本稿では,セマンティックセグメンテーションにおけるクラス連続学習に着目した。 新しいカテゴリは時間とともに利用可能になり、以前のトレーニングデータは保持されない。 提案された連続学習スキームは、潜在空間を形作り、新しいクラスの認識を改善しながら忘れを減らす。
  論文  参考訳（メタデータ） (2021-03-10T21:02:05Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。