論文の概要: Hierarchical Dual-Subspace Decoupling for Continual Learning in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.07512v1
• Date: Fri, 08 May 2026 09:42:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.970947
• Title: Hierarchical Dual-Subspace Decoupling for Continual Learning in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける連続学習のための階層的デュアルサブスペースデカップリング
• Authors: Mengxin Qin, Xiang Zhang, Kun Wei, Xu Yang, Cheng Deng,
• Abstract要約: クラスインクリメンタルラーニングは、学習前の情報を保存しながら、新たな知識を継続的に獲得することを目的としており、破滅的な忘れを軽減している。 視覚言語モデルにおける連続学習のための階層型デュアルサブスペースデカップリングフレームワークであるHDSDを提案する。 具体的には、パラメータ空間を一般およびタスク固有の部分空間に明示的に分解する軽量な特徴変調モジュール(FMM)を導入する。
• 参考スコア（独自算出の注目度）: 63.169731309799324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-incremental learning aims to continuously acquire new knowledge while preserving previously learned information, thereby mitigating catastrophic forgetting. Existing methods primarily restrict parameter updates but often overlook their structural properties in high-dimensional spaces. From a subspace perspective, updates induced by different tasks tend to lie in multiple overlapping low-rank subspaces, leading to cross-task subspace interference and severe forgetting. To address this issue, we propose HDSD, a Hierarchical Dual-Subspace Decoupling framework for continual learning in vision-language models. Specifically, we introduce a lightweight Feature Modulation Module (FMM) that explicitly decomposes the parameter space into general and task-specific subspaces. Building on this design, we develop two complementary components. First, a General Fusion Module (GFM) evaluates relative parameter changes across tasks and uses an adaptive threshold to capture stable and transferable knowledge. Second, a Hierarchical Learning Module (HLM) performs structured parameter decomposition via Singular Value Decomposition (SVD) and uses a scaling mechanism to constrain updates within distinct subspace scales. Together, these designs reduce subspace interference and parameter drift. Extensive experiments on conventional benchmarks show that HDSD achieves state-of-the-art results.
• Abstract（参考訳）: クラスインクリメンタルラーニングは、学習前の情報を保存しながら、新たな知識を継続的に獲得することを目的としており、破滅的な忘れを軽減している。 既存の手法は主にパラメータの更新を制限するが、しばしば高次元空間におけるそれらの構造的特性を見落としている。 サブスペースの観点から見ると、異なるタスクによって引き起こされる更新は、複数の重なり合う低ランクなサブスペースに存在する傾向があるため、クロスタスクなサブスペースの干渉と深刻な忘れが生じる。 この問題に対処するために,視覚言語モデルにおける連続学習のための階層型デュアルサブスペースデカップリングフレームワークであるHDSDを提案する。 具体的には、パラメータ空間を一般およびタスク固有の部分空間に明示的に分解する軽量な特徴変調モジュール(FMM)を導入する。 この設計に基づいて、2つの相補的なコンポーネントを開発する。 まず、GFM(General Fusion Module)はタスク間の相対的パラメータ変化を評価し、適応しきい値を用いて安定かつ伝達可能な知識をキャプチャする。 第2に、階層学習モジュール(HLM)は、Singular Value Decomposition(SVD)を介して構造化パラメータ分解を行い、スケーリングメカニズムを使用して、異なるサブスペーススケール内で更新を制限します。 これらの設計により、サブスペース干渉とパラメータドリフトが減少する。 従来のベンチマークでは、HDSDが最先端の結果を達成している。

関連論文リスト

• On Catastrophic Forgetting in Low-Rank Decomposition-Based Parameter-Efficient Fine-Tuning [14.815508281465272]
  本研究では,更新部分空間の幾何やパラメータ化の影響を強く受けていることを示す。 本研究は,更新部分空間設計を連続学習の重要な要素として取り上げ,逐次的設定における効率的な適応戦略を選択するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-03-10T13:53:25Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning [25.808884795490613]
  CIL(Class-Incremental Learning)は、古いクラスを忘れずに、新しいクラスを継続的に学習するモデルを必要とする。 このパラメータ制約法は塑性に有害であると主張する。 本稿では,アクティベーション空間を積極的に誘導する新しい手法であるセマンティックガイド動的スパシフィケーション(SGDS)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T07:15:05Z)
• Unifying Search and Recommendation in LLMs via Gradient Multi-Subspace Tuning [33.69176756907003]
  Gradient Multi-Subspace Tuning (GEMS)は、検索とレコメンデーションタスクを統合する新しいフレームワークである。 GEMSは検索タスクとレコメンデーションタスクの両方において、最先端のベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-01-14T14:03:07Z)
• Efficient Multi-Instance Generation with Janus-Pro-Dirven Prompt Parsing [53.295515505026096]
  Janus-Pro-driven Prompt Parsingは、テキスト理解とレイアウト生成をブリッジするプロンプト解析モジュールである。 MIGLoRAはパラメータ効率の良いプラグインで、低ランク適応を UNet (SD1.5) と DiT (SD3) のバックボーンに統合する。 提案手法はパラメータ効率を維持しつつCOCOおよびLVISベンチマークの最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-03-27T00:59:14Z)
• Learning and Evaluating Hierarchical Feature Representations [3.770103075126785]
  我々は、直交部分空間の階層的構成(Hier-COS)という新しい枠組みを提案する。 Hier-COSは、与えられた分類木の構造と整合した設計により、深い特徴埋め込みをベクトル空間にマッピングすることを学ぶ。 Hier-COSはすべてのデータセットにまたがって最先端の階層的パフォーマンスを実現し,同時に1つのケースを除いてトップ1の精度を上回ります。
  論文  参考訳（メタデータ） (2025-03-10T20:59:41Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。