論文の概要: StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2505.13997v1
• Date: Tue, 20 May 2025 06:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.839504
• Title: StPR: Spatiotemporal Preservation and Routing for Exemplar-Free Video Class-Incremental Learning
• Title（参考訳）: StPR: ビデオ授業増分学習のための時空間保存とルーティング
• Authors: Huaijie Wang, De Cheng, Guozhang Li, Zhipeng Xu, Lingfeng He, Jie Li, Nannan Wang, Xinbo Gao,
• Abstract要約: CIL(Class-Incremental Learning)は、以前取得した知識を使わずに、時間とともに新しいアクションカテゴリを継続的に学習するモデルの開発を目指している。 既存のアプローチでは、メモリとプライバシに関する懸念を忘れたり、あるいは時間的モデリングを無視する静的なイメージベースのメソッドを適用したりする。 本稿では,情報を明示的に切り離して保存する,統一的で非定型なVCILフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 51.003833566279006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Video Class-Incremental Learning (VCIL) seeks to develop models that continuously learn new action categories over time without forgetting previously acquired knowledge. Unlike traditional Class-Incremental Learning (CIL), VCIL introduces the added complexity of spatiotemporal structures, making it particularly challenging to mitigate catastrophic forgetting while effectively capturing both frame-shared semantics and temporal dynamics. Existing approaches either rely on exemplar rehearsal, raising concerns over memory and privacy, or adapt static image-based methods that neglect temporal modeling. To address these limitations, we propose Spatiotemporal Preservation and Routing (StPR), a unified and exemplar-free VCIL framework that explicitly disentangles and preserves spatiotemporal information. First, we introduce Frame-Shared Semantics Distillation (FSSD), which identifies semantically stable and meaningful channels by jointly considering semantic sensitivity and classification contribution. These important semantic channels are selectively regularized to maintain prior knowledge while allowing for adaptation. Second, we design a Temporal Decomposition-based Mixture-of-Experts (TD-MoE), which dynamically routes task-specific experts based on their temporal dynamics, enabling inference without task ID or stored exemplars. Together, StPR effectively leverages spatial semantics and temporal dynamics, achieving a unified, exemplar-free VCIL framework. Extensive experiments on UCF101, HMDB51, and Kinetics400 show that our method outperforms existing baselines while offering improved interpretability and efficiency in VCIL. Code is available in the supplementary materials.
• Abstract（参考訳）: ビデオ・クラス・インクリメンタル・ラーニング(VCIL)は、以前獲得した知識を忘れずに、時間とともに新しいアクション・カテゴリを継続的に学習するモデルの開発を目指している。 従来のクラスインクリメンタルラーニング(Class-Incremental Learning, CIL)とは異なり、VCILは時空間構造の複雑さを導入し、フレーム共有セマンティクスと時間ダイナミクスの両方を効果的に捉えながら、破滅的な忘れを緩和することが特に困難である。 既存のアプローチは、模範的なリハーサル、メモリとプライバシに関する懸念の高まり、あるいは時間的モデリングを無視した静的なイメージベースの手法の適用のいずれかに依存している。 このような制約に対処するために,時空間情報を明確に切り離して保存する,統一的で非定型なVCILフレームワークである時空間保存・ルーティング(StPR)を提案する。 まず Frame-Shared Semantics Distillation (FSSD) を紹介する。 これらの重要なセマンティックチャネルは、適応を許容しながら、事前知識を維持するために選択的に正規化される。 第2に、時間分解に基づくMixture-of-Experts (TD-MoE) を設計し、時間的ダイナミクスに基づいてタスク固有の専門家を動的にルーティングし、タスクIDやストアドプレクタなしで推論を可能にする。 StPRは、空間意味論と時間力学を効果的に活用し、統一された、模範のないVCILフレームワークを実現する。 UCF101, HMDB51, Kinetics400 の大規模実験により,VCIL の解釈性や効率性を向上しつつ,既存のベースラインよりも優れた性能を示した。 コードは補足資料で入手できる。

関連論文リスト

• Disentangling Spatial and Temporal Learning for Efficient Image-to-Video Transfer Learning [59.26623999209235]
  ビデオの空間的側面と時間的側面の学習を両立させるDiSTを提案する。 DiSTの非絡み合い学習は、大量の事前学習パラメータのバックプロパゲーションを避けるため、非常に効率的である。 5つのベンチマークの大規模な実験は、DiSTが既存の最先端メソッドよりも優れたパフォーマンスを提供することを示す。
  論文  参考訳（メタデータ） (2023-09-14T17:58:33Z)
• Leaping Into Memories: Space-Time Deep Feature Synthesis [93.10032043225362]
  内部モデルから映像を合成するアーキテクチャ非依存の手法であるLEAPSを提案する。 我々は,Kineetics-400に基づく多種多様なアーキテクチャの進化的注目を反転させることにより,LEAPSの適用性を定量的かつ定性的に評価する。
  論文  参考訳（メタデータ） (2023-03-17T12:55:22Z)
• Hierarchically Decoupled Spatial-Temporal Contrast for Self-supervised Video Representation Learning [6.523119805288132]
  a) 学習対象を2つの対照的なサブタスクに分解し、空間的特徴と時間的特徴を強調し、(b) 階層的にそれを実行し、マルチスケールな理解を促進する。
  論文  参考訳（メタデータ） (2020-11-23T08:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。