論文の概要: Learning in the Null Space: Small Singular Values for Continual Learning

• arxiv url: http://arxiv.org/abs/2602.21919v1
• Date: Wed, 25 Feb 2026 13:55:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.849879
• Title: Learning in the Null Space: Small Singular Values for Continual Learning
• Title（参考訳）: Null空間での学習: 連続学習のための小さな特異値
• Authors: Cuong Anh Pham, Praneeth Vepakomma, Samuel Horváth,
• Abstract要約: NESS (Null-space Estimated from Small Singular value) は、勾配操作ではなく、重み空間に直交性を直接適用する手法である。 NESSは各層の入力表現の最小特異値を用いて近似ヌル空間を構築し、この部分空間に制約されたコンパクトローランク適応(LoRA)によるタスク固有の更新をパラメータ化する。 3つのベンチマークデータセットの理論的解析と実験により、連続学習における小さな特異値の役割が強調され、タスク間の競合性能、低い忘れ込み、安定した精度が示される。
• 参考スコア（独自算出の注目度）: 15.50990273412897
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Alleviating catastrophic forgetting while enabling further learning is a primary challenge in continual learning (CL). Orthogonal-based training methods have gained attention for their efficiency and strong theoretical properties, and many existing approaches enforce orthogonality through gradient projection. In this paper, we revisit orthogonality and exploit the fact that small singular values correspond to directions that are nearly orthogonal to the input space of previous tasks. Building on this principle, we introduce NESS (Null-space Estimated from Small Singular values), a CL method that applies orthogonality directly in the weight space rather than through gradient manipulation. Specifically, NESS constructs an approximate null space using the smallest singular values of each layer's input representation and parameterizes task-specific updates via a compact low-rank adaptation (LoRA-style) formulation constrained to this subspace. The subspace basis is fixed to preserve the null-space constraint, and only a single trainable matrix is learned for each task. This design ensures that the resulting updates remain approximately in the null space of previous inputs while enabling adaptation to new tasks. Our theoretical analysis and experiments on three benchmark datasets demonstrate competitive performance, low forgetting, and stable accuracy across tasks, highlighting the role of small singular values in continual learning. The code is available at https://github.com/pacman-ctm/NESS.
• Abstract（参考訳）: さらなる学習を可能にしながら破滅的な忘れを緩和することは、継続学習(CL)における主要な課題である。 直交的学習法はその効率性や強い理論的性質に注目され、既存の多くのアプローチでは勾配射影を通して直交性を強制している。 本稿では、直交性を再検討し、小特異値が前のタスクの入力空間とほぼ直交する方向に対応するという事実を活用する。 この原理に基づいて、勾配操作ではなく、重み空間に直交性を直接適用するCL法であるNESS(Null-space Estimated from Small Singular value)を導入する。 具体的には、NESSは各層の入力表現の最小特異値を用いて近似ヌル空間を構築し、この部分空間に制約されたコンパクトローランク適応(LoRAスタイル)によってタスク固有の更新をパラメータ化する。 部分空間基底はヌル空間制約を保存するために固定され、各タスクに対して1つのトレーニング可能な行列のみが学習される。 この設計により、結果の更新は以前の入力のnull空間にほぼ留まり、新しいタスクへの適応を可能にする。 3つのベンチマークデータセットの理論的解析と実験により、連続学習における小さな特異値の役割が強調され、タスク間の競合性能、低い忘れ込み、安定した精度が示される。 コードはhttps://github.com/pacman-ctm/NESSで公開されている。

関連論文リスト

• GNSP: Gradient Null Space Projection for Preserving Cross-Modal Alignment in VLMs Continual Learning [27.9960664846484]
  コントラスト言語-画像事前学習は、共有埋め込み空間における視覚的・テキスト的モダリティを整列させることにより、目覚ましいゼロショットの一般化を示した。 様々なタスクを継続的に微調整すると、CLIPはその埋め込みアライメントの破滅的な忘れ込みと劣化に悩まされる。 GNSP(Gradient Null Space Projection)は,タスク固有の勾配を以前に学習した知識のnull空間に投影する,効率的な連続学習手法である。
  論文  参考訳（メタデータ） (2025-07-26T07:22:12Z)
• SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting [68.00007494819798]
  継続的な学習には、安定性を保ちながら複数のタスクを連続的に学習するモデルが必要である。 グラディエント・プロジェクションはCLにおいて有効で一般的なパラダイムとして現れ、以前に学習したタスクの勾配空間を2つの部分空間に分割する。 新しいタスクは小部分空間内で効果的に学習され、これにより以前取得した知識との干渉が軽減される。 既存の勾配射影法は、勾配空間を適切に分割することが困難であるため、塑性と安定性の最適なバランスを達成するのに苦労する。
  論文  参考訳（メタデータ） (2025-05-28T13:57:56Z)
• Continuous Subspace Optimization for Continual Learning [24.597922531045846]
  継続的な学習は、先行知識を維持しながら、連続的に複数のタスクを学習することを目的としている。 連続学習のための連続部分空間最適化(CoSO)を提案する。 CoSOは、特に長いタスクシーケンスを持つ挑戦的なシナリオにおいて、最先端のメソッドを著しく上回る。
  論文  参考訳（メタデータ） (2025-05-17T03:53:21Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。