論文の概要: Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning

• arxiv url: http://arxiv.org/abs/2610.11076v1
• Date: Thu, 08 Oct 2026 01:35:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.727511
• Title: Stability-Plasticity Balance via Singular-Vector Selection in LLM Continual Learning
• Title（参考訳）: LLM連続学習における特異ベクトル選択による安定性-弾塑性バランス
• Abstract要約: LLMのドメイン特異的連続的適応は破滅的な忘れ込みを引き起こす。 既存の方法には、塑性がどこに割り当てられるか、安定性が維持されるかを決定するための原則的な単位が欠如している。 このトレードオフを管理するための自然な単位として特異ベクトルチャネルを同定する。
• 参考スコア（独自算出の注目度）: 25.03300840379364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Domain-specific continual adaptation of LLMs risks catastrophic forgetting, creating a fundamental tension between acquiring new capabilities and preserving those learned during pretraining. PEFT mitigates this problem by restricting the number of trainable parameters, but existing methods lack a principled unit for deciding where plasticity should be allocated and stability should be preserved. We identify the singular-vector channel as a natural unit for managing this trade-off. Each channel represents an input-output transformation, which can be updated to acquire new knowledge or fixed to preserve pretrained capabilities. Based on this perspective, we introduce SVC, a parameter-efficient continual-learning method that selectively updates Singular-Vector Channels. Before fine-tuning, SVC uses domain-specific data to estimate each channel's adaptation benefit and a fixed public general-domain corpus only as a history activation proxy for estimating forgetting cost. It then adaptively selects trainable channels based on these scores via knee-based cost screening, Pareto-front filtering, and Otsu thresholding. Experimental results across four LLM families and eight downstream tasks show that SVC better preserves pretrained capabilities while achieving strong downstream performance relative to existing PEFT baselines. Further analysis of channel scoring and selection demonstrates that selective plasticity at the singular-vector-channel level enables effective continual LLM adaptation.
• Abstract（参考訳）: LLMのドメイン固有の継続的適応は、破滅的な忘れ込みを危険にさらし、新しい能力の獲得と事前訓練中に学んだことの保存の間に根本的な緊張を生じさせる。 PEFTはこの問題を、トレーニング可能なパラメータの数を制限することで緩和するが、既存の手法では、可塑性がどこに割り当てられるか、安定性が維持されるかを決定するための原則的な単位が欠如している。 このトレードオフを管理するための自然な単位として特異ベクトルチャネルを同定する。 各チャネルは入力出力変換を表しており、新しい知識を取得するために更新したり、事前訓練された能力を維持するために固定したりすることができる。 そこで本研究では,Singular-Vector Channelsを選択的に更新するパラメータ効率の高い連続学習手法であるSVCを紹介する。 微調整の前にSVCは、各チャネルの適応利益と固定されたパブリックドメインコーパスを、忘れるコストを見積もる履歴アクティベーションプロキシとしてのみ、ドメイン固有のデータを使用する。 そして、膝ベースのコストスクリーニング、Pareto-front filtering、Otsuth thresholdingを通じて、これらのスコアに基づいてトレーニング可能なチャネルを適応的に選択する。 4つのLLMファミリーと8つのダウンストリームタスクに対する実験結果から、SVCは既存のPEFTベースラインと比較して強力なダウンストリーム性能を保ちながら、事前訓練された能力を維持していることが示された。 チャネルスコアリングと選択のさらなる分析は、特異ベクトルチャネルレベルでの選択的可塑性が効果的な連続LDM適応を可能にすることを示す。

関連論文リスト

• MoASE++: Mixture of Activation Sparsity Experts with Domain-Adaptive On-policy Distillation for Continual Test Time Adaptation [65.068801413044]
  連続的なテスト時間適応は、非定常な未ラベルのターゲットストリームにソース予測モデルを適用する。 ドメインに依存しない構造をドメイン固有のテクスチャから切り離す。
  論文  参考訳（メタデータ） (2026-05-18T01:52:12Z)
• SAE as a Crystal Ball: Interpretable Features Predict Cross-domain Transferability of LLMs without Training [70.84726713548099]
  SAEベースのTransferability Score(STS)は、トレーニング後のTransferabilityを予測するための新しい指標である。 STSは教師付き微調整の伝達可能性を正確に予測し,実際の性能変化とともに0.7以上のピアソン相関係数を達成できることを示す。
  論文  参考訳（メタデータ） (2026-03-03T12:01:09Z)
• Steering Vision-Language Pre-trained Models for Incremental Face Presentation Attack Detection [62.89126207012712]
  顔提示攻撃検出(PAD)は、スプーフィング戦術やドメインと戦うために漸進的な学習を要求する。 過去のデータ保持を禁止し、リハーサルフリーラーニング(RF-IL)を必要とするプライバシー規制
  論文  参考訳（メタデータ） (2025-12-22T04:30:11Z)
• AnaCP: Toward Upper-Bound Continual Learning via Analytic Contrastive Projection [11.750791465488438]
  本稿では,CIL(Class-Incremental Learning)の問題について考察する。 事前訓練モデル(PTM)を使わない従来のCIL法は、破滅的忘れ(CF)に苦しむ 本稿では,AnaCPを提案する。AnaCPは解析的分類器の効率を保ちつつ,段階的特徴適応を実現し,勾配に基づく学習を行なわない新しい手法である。
  論文  参考訳（メタデータ） (2025-11-17T19:56:15Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• Efficient Test-time Adaptive Object Detection via Sensitivity-Guided Pruning [73.40364018029673]
  連続的なテスト時間適応オブジェクト検出(CTTA-OD)は、源となる事前訓練された検出器を常に変化する環境にオンライン適応させることを目的としている。 私たちのモチベーションは、学習したすべての特徴が有益であるとは限らないという観察に起因しています。 FLOPの計算オーバヘッドを12%削減し,優れた適応性を実現する。
  論文  参考訳（メタデータ） (2025-06-03T05:27:56Z)
• Revisiting CLIP for SF-OSDA: Unleashing Zero-Shot Potential with Adaptive Threshold and Training-Free Feature Filtering [8.875465803682808]
  適応しきい値処理戦略と未知のクラス機能フィルタリングモジュールという,2つの重要なコンポーネントを統合した新しいSF-OSDAアプローチであるCLIPXpertを提案する。 実験により、ソースフリーでトレーニング不要な手法は、DomainNetデータセット上で、最先端のトレーニング済みアプローチであるUOTAを1.92%上回る結果となった。
  論文  参考訳（メタデータ） (2025-04-19T08:12:19Z)
• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• Rethinking Evaluation Protocols of Visual Representations Learned via Self-supervised Learning [1.0499611180329804]
  自己教師型学習(SSL)は、自己教師型学習(SSL)を通して学習した視覚的表現の質を評価するために用いられる。 既存のSSLメソッドは、これらの評価プロトコルの下で優れたパフォーマンスを示している。 我々は、最先端のSSL方式で広範な実験を行うことにより、性能感度の原因を解明しようとする。
  論文  参考訳（メタデータ） (2023-04-07T03:03:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。