論文の概要: Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2601.21345v1
• Date: Thu, 29 Jan 2026 07:15:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.639952
• Title: Semantic-Guided Dynamic Sparsification for Pre-Trained Model-based Class-Incremental Learning
• Title（参考訳）: 事前学習モデルに基づくクラスインクリメンタル学習のためのセマンティックガイドによる動的スパーシフィケーション
• Authors: Ruiqi Liu, Boyu Diao, Zijia An, Runjie Shao, Zhulin An, Fei Wang, Yongjun Xu,
• Abstract要約: CIL(Class-Incremental Learning)は、古いクラスを忘れずに、新しいクラスを継続的に学習するモデルを必要とする。 このパラメータ制約法は塑性に有害であると主張する。 本稿では,アクティベーション空間を積極的に誘導する新しい手法であるセマンティックガイド動的スパシフィケーション(SGDS)を提案する。
• 参考スコア（独自算出の注目度）: 25.808884795490613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) requires a model to continually learn new classes without forgetting old ones. A common and efficient solution freezes a pre-trained model and employs lightweight adapters, whose parameters are often forced to be orthogonal to prevent inter-task interference. However, we argue that this parameter-constraining method is detrimental to plasticity. To this end, we propose Semantic-Guided Dynamic Sparsification (SGDS), a novel method that proactively guides the activation space by governing the orientation and rank of its subspaces through targeted sparsification. Specifically, SGDS promotes knowledge transfer by encouraging similar classes to share a compact activation subspace, while simultaneously preventing interference by assigning non-overlapping activation subspaces to dissimilar classes. By sculpting class-specific sparse subspaces in the activation space, SGDS effectively mitigates interference without imposing rigid constraints on the parameter space. Extensive experiments on various benchmark datasets demonstrate the state-of-the-art performance of SGDS.
• Abstract（参考訳）: CIL(Class-Incremental Learning)は、古いクラスを忘れずに、新しいクラスを継続的に学習するモデルを必要とする。 一般的で効率的なソリューションは、事前訓練されたモデルを凍結し、タスク間の干渉を防ぐために直交するパラメータがしばしば強制される軽量アダプタを使用する。 しかし, このパラメータ制約法は塑性に有害である。 そこで本研究では,SGDS(Semantic-Guided Dynamic Sparsification)を提案する。 具体的には、SGDSは、類似クラスがコンパクトなアクティベーションサブスペースを共有するように促すことで知識伝達を促進すると同時に、重複しないアクティベーションサブスペースを異種クラスに割り当てることによる干渉を同時に防止する。 活性化空間におけるクラス固有のスパース部分空間を彫刻することにより、SGDSはパラメータ空間に厳密な制約を課すことなく干渉を効果的に緩和する。 様々なベンチマークデータセットに対する大規模な実験は、SGDSの最先端性能を示している。

関連論文リスト

• Shared LoRA Subspaces for almost Strict Continual Learning [32.4267950435704]
  大規模な事前訓練されたモデルを新しいタスクに効果的かつ継続的に適応させることは、現実世界のデプロイメントに不可欠である。 パラメータ効率の良い連続ファインタニングのための新しい手法であるShareを提案し、単一の共有低ランク部分空間を学習し動的に更新する。 単一のShareモデルは、数百のタスク固有のLoRAアダプタを置き換えることができ、スケーラブルで非同期な継続的学習をサポートする。
  論文  参考訳（メタデータ） (2026-02-05T18:59:58Z)
• Action-Constrained Imitation Learning [12.316546911223263]
  行動制約下での政策学習は、様々なロボット制御や資源配分アプリケーションにおいて、安全な行動を保証する上で中心的な役割を果たす。 本稿では,行動制約付き模倣者がより広い行動空間を持つ実証的専門家から学習することを目的とした,行動制約付き模倣学習(ACIL)と呼ばれる新たな課題について検討する。 我々は、このミスマッチをテキストトラジェクトリアライメント(textittrajectory alignment)を通じて解決し、従来の専門家によるデモンストレーションを、アクション制約に固執しながら、同様の状態軌跡に従うサロゲートデータセットに置き換えるDTWILを提案する。
  論文  参考訳（メタデータ） (2025-08-20T03:19:07Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• EKPC: Elastic Knowledge Preservation and Compensation for Class-Incremental Learning [53.88000987041739]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、AIモデルを、時間とともに異なるクラスのシーケンシャルに到着したデータから継続的に学習可能にすることを目的としている。 本稿では, 重要度を考慮した重要度正規化 (IPR) と CIL のためのトレーニング可能なセマンティックドリフト補償 (TSDC) を統合したElastic Knowledge Preservation and Compensation (EKPC) 法を提案する。
  論文  参考訳（メタデータ） (2025-06-14T05:19:58Z)
• StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning [79.44594332189018]
  CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。 既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。 本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T06:46:51Z)
• Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning [73.59672160329296]
  CKPD-FSCILは、事前訓練された重量の未使用容量を解放する統合フレームワークである。 本手法は,適応性と知識保持の両面で,最先端の手法より一貫して優れている。
  論文  参考訳（メタデータ） (2025-01-09T07:18:48Z)
• Embedding Space Allocation with Angle-Norm Joint Classifiers for Few-Shot Class-Incremental Learning [8.321592316231786]
  クラス増分学習(class-incremental learning)は、少数のサンプルから新しいクラスを継続的に学習することを目的としている。 現在のクラスは機能空間全体を占有しており、新しいクラスを学ぶのに有害である。 インクリメンタルラウンドにおける少数のサンプルは、完全なトレーニングには不十分である。
  論文  参考訳（メタデータ） (2024-11-14T07:31:12Z)
• Semantics-Adaptive Activation Intervention for LLMs via Dynamic Steering Vectors [8.761404991620285]
  大規模言語モデル(LLM)の行動を修正するための効果的かつ経済的手法として活性化介入が出現した。 本稿では,モデルアクティベーションを推論時に介入するための動的ステアリングベクトルを構成する新しい手法であるSemantics-Adaptive Dynamic Intervention (SADI)を提案する。 実験結果から,SADIが確立したベースラインをかなりのマージンで上回り,トレーニングなしでのタスク性能が向上した。
  論文  参考訳（メタデータ） (2024-10-16T06:58:49Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [115.79349923044663]
  FSCIL(Few-shot class-incremental Learning)は、限られた例から新しいクラスを段階的に学習することを目的としている。 静的アーキテクチャは固定パラメータ空間に依存して、逐次到着するデータから学習し、現在のセッションに過度に適合する傾向がある。 本研究では,FSCILにおける選択状態空間モデル(SSM)の可能性について検討する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
  PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。 タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。 我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
  論文  参考訳（メタデータ） (2024-03-18T17:58:13Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。