論文の概要: Exemplar-Free Continual Learning for State Space Models

• arxiv url: http://arxiv.org/abs/2505.18604v1
• Date: Sat, 24 May 2025 08:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.538035
• Title: Exemplar-Free Continual Learning for State Space Models
• Title（参考訳）: 状態空間モデルのための経験的自由連続学習
• Authors: Isaac Ning Lee, Leila Mahmoodi, Trung Le, Mehrtash Harandi,
• Abstract要約: State-Space Models (SSM) は構造化された再帰で長距離の依存関係をキャプチャする。 彼らの進化する内部状態は、継続的学習の下でそれらを適応する上で困難を生じさせる。 Inf-SSMを提案する。
• 参考スコア（独自算出の注目度）: 32.73275711666184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-Space Models (SSMs) excel at capturing long-range dependencies with structured recurrence, making them well-suited for sequence modeling. However, their evolving internal states pose challenges in adapting them under Continual Learning (CL). This is particularly difficult in exemplar-free settings, where the absence of prior data leaves updates to the dynamic SSM states unconstrained, resulting in catastrophic forgetting. To address this, we propose Inf-SSM, a novel and simple geometry-aware regularization method that utilizes the geometry of the infinite-dimensional Grassmannian to constrain state evolution during CL. Unlike classical continual learning methods that constrain weight updates, Inf-SSM regularizes the infinite-horizon evolution of SSMs encoded in their extended observability subspace. We show that enforcing this regularization requires solving a matrix equation known as the Sylvester equation, which typically incurs $\mathcal{O}(n^3)$ complexity. We develop a $\mathcal{O}(n^2)$ solution by exploiting the structure and properties of SSMs. This leads to an efficient regularization mechanism that can be seamlessly integrated into existing CL methods. Comprehensive experiments on challenging benchmarks, including ImageNet-R and Caltech-256, demonstrate a significant reduction in forgetting while improving accuracy across sequential tasks.
• Abstract（参考訳）: State-Space Models (SSM) は、構造化された再帰で長距離の依存関係を捉えるのに優れ、シーケンスモデリングに適している。 しかし、その進化する内部状態は、継続学習(CL)の下でそれらを適応する上で困難をもたらす。 これは特に、事前データがないと動的SSM状態が制限されずに更新され、破滅的な忘れ物となるような、例えのない設定では特に困難である。 これを解決するために,無限次元グラスマン多様体の幾何を利用してCL中の状態の進化を制約する,新規でシンプルな幾何認識正規化法であるInf-SSMを提案する。 重み更新を制限する古典的連続学習法とは異なり、Inf-SSMは拡張可観測部分空間に符号化されたSSMの無限水平進化を正規化する。 この正規化を強制するには、一般に$\mathcal{O}(n^3)$複雑さを引き起こすシルヴェスター方程式と呼ばれる行列方程式を解く必要がある。 SSMの構造と性質を利用して$\mathcal{O}(n^2)$の解を開発する。 これにより、既存のCLメソッドにシームレスに統合できる効率的な正規化機構がもたらされる。 ImageNet-RやCaltech-256など、挑戦的なベンチマークに関する包括的な実験は、シーケンシャルタスク間の精度を改善しながら、忘れることの大幅な削減を実証している。

関連論文リスト

• Learning to Dissipate Energy in Oscillatory State-Space Models [55.09730499143998]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。