論文の概要: Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA
- arxiv url: http://arxiv.org/abs/2604.12526v1
- Date: Tue, 14 Apr 2026 09:59:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.386065
- Title: Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA
- Title（参考訳）: SVD-based LoRAによる連続機械アンラーニングのための直交部分空間投影
- Authors: Yogachandran Rahulamathavan, Nasir Iqbal, Juncheng Hu, Sangarapillai Lambotharan,
- Abstract要約: 継続的機械学習は、もはや保持すべきでないデータの影響を排除し、モデルの有用性を他のすべてに保持することを目的としています。
Low-Rank Adaptation (LoRA)は、このような更新を実装する効率的な方法を提供するが、多くのシーケンシャルなLoRAモジュールを組み合わせることで、パラメータの衝突につながる。
Singular Value Decomposition (SVD)-guided orthogonal subspace projection に基づく静的な代替法を提案する。
- 参考スコア（独自算出の注目度）: 8.191149161025198
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual machine unlearning aims to remove the influence of data that should no longer be retained, while preserving the usefulness of the model on everything else. This setting becomes especially difficult when deletion requests arrive sequentially, because the model must repeatedly adapt without erasing previously retained knowledge. Low-Rank Adaptation (LoRA) offers an efficient way to implement such updates, but naively combining many sequential LoRA modules leads to parameter collision, causing \textit{strong interference} between tasks. We propose a static alternative based on Singular Value Decomposition (SVD)-guided orthogonal subspace projection. Our method constrains each new LoRA update during training so that it lies in the orthogonal complement of the subspaces used by earlier unlearning tasks. This preserves task isolation without requiring dynamic routing at deployment. Experiments on CIFAR-100 with ResNet-20 and on MNIST show stable behavior across long sequences of unlearning tasks. After thirty sequential unlearning tasks, state-of-the-art static fusion reduces retained accuracy from 60.39\% to 12.70\%, whereas the proposed in-training constrained optimization maintains baseline performance ($\sim$58.1\%) while preserving strong unlearning efficacy.
- Abstract（参考訳）: 継続的機械学習は、もはや保持すべきでないデータの影響を排除し、モデルの有用性を他のすべてに保持することを目的としています。
この設定は、削除要求が順次届くと特に困難になる。
Low-Rank Adaptation (LoRA)は、このような更新を実装する効率的な方法を提供するが、多くのシーケンシャルなLoRAモジュールを組み合わせることによってパラメータの衝突が発生し、タスク間で \textit{strong interference} が発生する。
Singular Value Decomposition (SVD)-guided orthogonal subspace projection に基づく静的な代替法を提案する。
本手法は,従来の未学習タスクで使用される部分空間の直交補間にあるように,トレーニング中の各LoRA更新を制約する。
これにより、動的ルーティングをデプロイ時に必要とせずに、タスク分離を保存できる。
ResNet-20とMNISTによるCIFAR-100の実験は、学習しないタスクの長いシーケンスにわたって安定した振る舞いを示す。
30のシーケンシャルな未学習タスクの後、最先端の静的融合は保持精度を60.39\%から12.70\%に下げる一方、提案されたトレーニング中の制約付き最適化は、強力な未学習効果を維持しながらベースライン性能($58.1\%)を維持する。
関連論文リスト
- Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。
本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文 参考訳（メタデータ） (2026-01-30T10:54:51Z) - LANCE: Low Rank Activation Compression for Efficient On-Device Continual Learning [9.009523608709117]
オンデバイス学習は、リソース制約のある環境におけるパーソナライズ、プライバシ、長期適応に不可欠である。
既存のアクティベーション圧縮手法は、このコストを削減するが、繰り返し低ランクの分解に依存し、計算オーバーヘッドを発生させる。
アクティベーションプロジェクションのための再利用可能な低ランク部分空間を得るために,一ショット高次特異値分解(SVD)を行うフレームワークであるLANCEを提案する。
論文 参考訳（メタデータ） (2025-09-25T21:33:40Z) - Continuous Subspace Optimization for Continual Learning [24.597922531045846]
継続的な学習は、先行知識を維持しながら、連続的に複数のタスクを学習することを目的としている。
連続学習のための連続部分空間最適化(CoSO)を提案する。
CoSOは、特に長いタスクシーケンスを持つ挑戦的なシナリオにおいて、最先端のメソッドを著しく上回る。
論文 参考訳（メタデータ） (2025-05-17T03:53:21Z) - LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning [5.438329886561997]
本稿では,機能モデリングや前処理の保存を必要とせず,機能ドリフトを効果的に処理するDrift-Resistant Space(DRS)を提案する。
提案手法は,複数のデータセットにまたがって,特に長いタスクシーケンスに対して,最先端の結果を一貫して達成する。
論文 参考訳（メタデータ） (2025-03-23T07:38:53Z) - Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Continual Learning with Guarantees via Weight Interval Constraints [18.791232422083265]
ニューラルネットパラメータ空間の間隔制約を適用して、忘れを抑える新しいトレーニングパラダイムを導入する。
本稿では,モデルの連続的学習をパラメータ空間の連続的縮約として再構成することで,忘れることに制限を加える方法を示す。
論文 参考訳（メタデータ） (2022-06-16T08:28:37Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳（メタデータ） (2022-02-21T13:25:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。