Fugu-MT 論文翻訳(概要): SPACE-LoRA: Allocating Activation-Subspace Protection for Continual Learning

論文の概要: SPACE-LoRA: Allocating Activation-Subspace Protection for Continual Learning

arxiv url: http://arxiv.org/abs/2609.34453v1
Date: Mon, 28 Sep 2026 07:08:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-03 13:28:22.2199
Title: SPACE-LoRA: Allocating Activation-Subspace Protection for Continual Learning
Title（参考訳）: SPACE-LoRA:連続学習のためのアクティベーション・サブスペース保護
Abstract要約: 本研究では,連続したタスクを逐次学習する際に発生する破滅的な忘れの問題に対処する。既存のアプローチは、主に過去の知識への干渉を減らすためにパラメータ更新や学習サブスペースを制約している。これは、固定された過去のモデルの上に新たに追加された残留アダプタが、古いタスクにとって重要な入力方向に沿ってゼロでない応答を生成するときに発生する。
参考スコア（独自算出の注目度）: 1.1091582432763738
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This study addresses the catastrophic forgetting problem that occurs when sequentially learning successive tasks using Low-Rank Adaptation (LoRA) from a lifelong learning perspective. While existing approaches have primarily constrained parameter updates or learning subspaces to reduce interference with past knowledge, they have not fully considered additive interference. This occurs when a newly added residual adapter on top of a fixed past model generates non-zero responses along input directions important for old tasks, thereby altering previous predictions. To this end, we propose Subspace Protection with Allocated Capacity for Efficient Continual Adaptation (SPACE-LoRA). SPACE-LoRA directly suppresses the responses of the new residual branch along input activation directions that are important for old tasks and adaptively determines the protection coverage for each module based on past-task sensitivity estimated via a common Fisher sensitivity-based coverage target. Under a fixed LoRA rank, this approach adaptively adjusts module-specific protection coverage while suppressing interference along input directions sensitive to old tasks. We assess the effectiveness of activation-subspace protection in mitigating catastrophic forgetting and examine the role of sensitivity-guided protection in continual learning across diverse tasks. Code is available at https://anonymous.4open.science/r/SPACE-LoRA-7864.
Abstract（参考訳）: 本研究では,Low-Rank Adaptation (LoRA) を生涯学習の観点から逐次学習する場合に発生する破滅的な忘れの問題に対処する。既存のアプローチは、過去の知識への干渉を減らすためにパラメータ更新やサブスペースの学習を主に制約してきたが、これらは追加的干渉を十分に考慮していない。これは、固定された過去のモデルの上に新たに追加された残差アダプタが、古いタスクに重要な入力方向に沿ってゼロでない応答を生成し、以前の予測を変更するときに発生する。そこで本稿では,SPACE-LoRA(Continuous Adaptation)のための部分空間保護方式を提案する。 SPACE-LoRAは、従来のタスクに重要な入力活性化方向に沿って、新しい残枝の応答を直接抑制し、共通のフィッシャー感度に基づくカバレッジターゲットによって推定される過去のタスク感度に基づいて、各モジュールの保護カバレッジを適応的に決定する。固定されたLoRAランクの下では、モジュール固有の保護範囲を適応的に調整し、古いタスクに敏感な入力方向に沿って干渉を抑制する。破滅的忘れを緩和する上でのアクティベーション・サブスペース・プロテクションの有効性を評価し,多様なタスクにわたる継続的な学習におけるセンシティブ・ガイド・プロテクションの役割について検討した。コードはhttps://anonymous.4open.science/r/SPACE-LoRA-7864で公開されている。

関連論文リスト

Null-Space Constrained Low-Rank Adaptation for Response-Specified Large Language Model Unlearning [13.073474198841206]
大規模言語モデルアンラーニングは、良識を保ちながら、指定された望ましくない知識を抑えることを目的としている。本稿では,EmphNull-Space Constrained Response-Specified Unlearning(NSRU)を紹介する。 NSRUは明示的に構造化された安全なターゲット応答を使用して、それぞれの忘れクエリの望ましい振る舞いを指定する。
論文参考訳（メタデータ） (2026-06-09T15:26:36Z)
Learning When to Adapt [29.665123668818378]
低ランク適応(LoRA)はパラメータ効率のよい微調整法として広く用いられている。 DiseLはLoRAモジュールを、個々のランク1コンポーネントに軽量な入力依存ゲートで拡張する。 DiseLは少数のパラメータのみを追加し、ローランク構造を保存する。
論文参考訳（メタデータ） (2026-05-18T18:51:24Z)
Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning [82.30237756328596]
Low-Rank Adaptation (LoRA) は継続学習 (CL) において注目を集めている。いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。 LoDAは、一般的なタスク固有のLoRAサブスペースを構築するために、タスク駆動の分解を実行する。
論文参考訳（メタデータ） (2026-02-27T02:31:00Z)
Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning [25.808884795490613]
CIL(Class-Incremental Learning)は、古いクラスを忘れずに、新しいクラスを継続的に学習するモデルを必要とする。このパラメータ制約法は塑性に有害であると主張する。本稿では,アクティベーション空間を積極的に誘導する新しい手法であるセマンティックガイド動的スパシフィケーション(SGDS)を提案する。
論文参考訳（メタデータ） (2026-01-29T07:15:05Z)
KeepLoRA: Continual Learning with Residual Gradient Adaptation [70.16296045857659]
事前学習された視覚言語モデルの継続的な学習には、3つの競合する目標のバランスが必要である。本稿では、これらの目的を効果的にバランスさせるために、KeepLoRAと呼ばれるシンプルで効果的なアプローチを提案する。
論文参考訳（メタデータ） (2026-01-27T14:38:57Z)
Resolving Conflicts in Lifelong Learning via Aligning Updates in Subspaces [12.630494786258842]
Low-Rank Adaptation (LoRA)は効果的な継続的学習を可能にするが、しばしば破滅的な忘れ込みに悩まされる。そこで我々は,PS-LoRAを提案する。PS-LoRAは最適化サブ空間内で更新を調整することで競合を解決するためのフレームワークである。提案手法では,先行知識との整合性を確保するために,矛盾する方向と大小偏差をペナルティ化する二重正則化手法を用いている。
論文参考訳（メタデータ） (2025-11-28T15:34:36Z)
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization [6.5225344327304535]
低ランク適応(LoRA)は、大規模言語モデルを効率的に微調整するための標準ツールとなっている。 LoRA更新はアライメントドリフトを誘発し、安全性と行動制約を弱める。ファインタニング時にアライメントを保存するための原則的フレームワークであるAlignGuard-LoRAを提案する。
論文参考訳（メタデータ） (2025-08-04T05:45:24Z)
LoX: Low-Rank Extrapolation Robustifies LLM Safety Against Fine-tuning [61.594212398272184]
Low-Rank Extrapolation (LoX)は、良質で悪意のある微調整攻撃に対する堅牢性を改善する。 LoXは攻撃成功率を11%から54%に下げる。
論文参考訳（メタデータ） (2025-06-18T16:30:02Z)
Learning without Isolation: Pathway Protection for Continual Learning [64.3476595369537]
ディープネットワークは、シーケンシャルなタスク学習中に破滅的な忘れをしがちだ。モデル融合をグラフマッチングとして定式化する新しいCLフレームワークLwIを提案する。深層ネットワークにおける活性化チャネルの広がりにより、LwIは新しいタスクのために利用可能な経路を適応的に割り当て、経路保護を実現し、破滅的な忘れに対処することができる。
論文参考訳（メタデータ） (2025-05-24T07:16:55Z)
Approximate Shielding of Atari Agents for Safe Exploration [83.55437924143615]
遮蔽の概念に基づく安全な探索のための原理的アルゴリズムを提案する。本稿では,我々の近似遮蔽アルゴリズムが安全違反率を効果的に低減することを示す予備的な結果を示す。
論文参考訳（メタデータ） (2023-04-21T16:19:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。