論文の概要: Towards Continual Learning: Mitigating Forgetting With Subspace Tuning

• arxiv url: http://arxiv.org/abs/2610.22293v1
• Date: Thu, 15 Oct 2026 17:44:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.236378
• Title: Towards Continual Learning: Mitigating Forgetting With Subspace Tuning
• Title（参考訳）: 継続的な学習に向けて - サブスペースチューニングによる予測の緩和
• Abstract要約: 部分空間チューニング(SST)は、各重み更新を下特異部分空間に制限し、主方向の変化を排除している。 SSTは強力なターゲットタスク性能を維持しながら保持性を向上させる。 これは、微調整された事前訓練された言語モデルの事実上のデフォルトである。
• 参考スコア（独自算出の注目度）: 48.76849332931412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) acquire new skills through fine-tuning, but it can destroy capabilities they already have: catastrophic forgetting remains a central obstacle to continual learning in LLMs. Recent works connect forgetting to how far, and along which directions, fine-tuning moves the weights. On-policy methods such as reinforcement learning and on-policy distillation avoid updating the principal singular directions of weight matrices and thus forget less. In contrast, SFT concentrates updates along these directions and is susceptible to catastrophic forgetting. In this work, we introduce Subspace Tuning (SST), which restricts each weight update to the bottom singular subspace, eliminating changes along the principal directions. SST is optimizer-agnostic and composes well with fine-tuning recipes including SFT and self-distillation. SST combines tight subspace protection, dense gradient estimation, and a simple refresh mechanism, enabling stronger learning than prior orthogonal fine-tuning methods. With these mechanisms, protecting as much as 99\% of the weight subspace substantially improves retention while preserving strong target-task performance. This behavior strengthens with model and data size and nearly eliminates forgetting in the large-model regime. SST also keeps the model close to its base distribution, inducing $2$--$4\times$ less KL drift than the baseline recipes. Overall, SST advances the learning--forgetting Pareto frontier, making it a practical default for fine-tuning pre-trained language models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、微調整によって新しいスキルを獲得するが、既に持っている能力を破壊することができる。 最近の研究は、どれだけ遠くまで、そしてどの方向に沿って、微調整が重みを移動しているかを忘れることに繋がっている。 強化学習やオンライン蒸留のようなオン政治手法は、重量行列の主特異方向の更新を回避し、したがって忘れない。 対照的に、SFTはこれらの方向に沿って更新を集中し、破滅的な忘れがちである。 本研究では,各重み更新を最下特異部分空間に制限し,主方向の変化を排除した部分空間チューニング(SST)を提案する。 SSTはオプティマイザ非依存であり、SFTや自己蒸留といった微調整のレシピと相性がよい。 SSTは、厳密な部分空間保護、密度勾配推定、および単純なリフレッシュ機構を組み合わせることで、従来の直交微調整法よりも強力な学習を可能にする。 これらの機構により、重量部分空間の最大99%の保護は、強い目標タスク性能を維持しながら保持性を大幅に向上する。 この振る舞いは、モデルとデータサイズを強化し、大きなモデル体制での忘れをほとんど排除します。 SSTはまた、モデルをベースディストリビューションに近く保ち、ベースラインレシピよりもKLドリフトが少ない$2$-4\times$KLドリフトを誘導する。全体として、SSTは学習を鍛えるParetoフロンティアを前進させ、訓練済みの言語モデルを微調整するための事実上のデフォルトとなる。

関連論文リスト

• Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning [57.237835833636154]
  本稿では,事前学習された知識の事前情報を活用するために,拡張可能なサブスペース(マイル)を用いたMetrIc Learningを提案する。 Milesは様々なCIL設定で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-20T06:22:02Z)
• On the Geometry of On-Policy Distillation [22.873898953554605]
  我々は,大規模言語モデル推論を改善するために,政治蒸留(OPD)について検討する。 教師付き微調整(SFT)と強化学習(RLVR)を比較した。 我々は、PDが単にSFTとRLVRの中間点であるだけでなく、パラメータ空間における独自の更新幾何を誘導することを発見した。
  論文  参考訳（メタデータ） (2026-06-05T09:20:15Z)
• Learning, Fast and Slow: Towards LLMs That Adapt Continually [83.9214051113102]
  大規模言語モデル(LLM)は、パラメータを更新することで下流タスクのために訓練される。 高速スロートレーニング(FST)は、推論タスクのスローラーニング(RL)よりも最大3倍のサンプリング効率を持つ。
  論文  参考訳（メタデータ） (2026-05-12T17:58:20Z)
• On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning [14.815508281465272]
  本研究では,更新部分空間の幾何やパラメータ化の影響を強く受けていることを示す。 本研究は,更新部分空間設計を連続学習の重要な要素として取り上げ,逐次的設定における効率的な適応戦略を選択するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-03-10T13:53:25Z)
• Stable Forgetting: Bounded Parameter-Efficient Unlearning in LLMs [30.089412595436585]
  我々は,大規模な言語モデル (LLM) のフィードフォワード層において,左折集合の上昇がいかに最適化を不安定化させるかを説明する理論的枠組みを提供する。 本研究では, パラメータ効率のよい手法である境界境界アンラーニングを提案し, 適応子に有界関数を適用することにより微調整を安定化する。 提案手法は,LLMにおける非学習のための理論的基盤と実践的拡張性を備えた枠組みを確立するとともに,保持状態を維持しながら忘れることの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2025-09-29T01:30:15Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
  クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。 本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
  論文  参考訳（メタデータ） (2023-01-11T17:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。