論文の概要: Exemplar-Free Continual Learning for State Space Models

• arxiv url: http://arxiv.org/abs/2505.18604v1
• Date: Sat, 24 May 2025 08:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.538035
• Title: Exemplar-Free Continual Learning for State Space Models
• Title（参考訳）: 状態空間モデルのための経験的自由連続学習
• Authors: Isaac Ning Lee, Leila Mahmoodi, Trung Le, Mehrtash Harandi,
• Abstract要約: State-Space Models (SSM) は構造化された再帰で長距離の依存関係をキャプチャする。 彼らの進化する内部状態は、継続的学習の下でそれらを適応する上で困難を生じさせる。 Inf-SSMを提案する。
• 参考スコア（独自算出の注目度）: 32.73275711666184
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-Space Models (SSMs) excel at capturing long-range dependencies with structured recurrence, making them well-suited for sequence modeling. However, their evolving internal states pose challenges in adapting them under Continual Learning (CL). This is particularly difficult in exemplar-free settings, where the absence of prior data leaves updates to the dynamic SSM states unconstrained, resulting in catastrophic forgetting. To address this, we propose Inf-SSM, a novel and simple geometry-aware regularization method that utilizes the geometry of the infinite-dimensional Grassmannian to constrain state evolution during CL. Unlike classical continual learning methods that constrain weight updates, Inf-SSM regularizes the infinite-horizon evolution of SSMs encoded in their extended observability subspace. We show that enforcing this regularization requires solving a matrix equation known as the Sylvester equation, which typically incurs $\mathcal{O}(n^3)$ complexity. We develop a $\mathcal{O}(n^2)$ solution by exploiting the structure and properties of SSMs. This leads to an efficient regularization mechanism that can be seamlessly integrated into existing CL methods. Comprehensive experiments on challenging benchmarks, including ImageNet-R and Caltech-256, demonstrate a significant reduction in forgetting while improving accuracy across sequential tasks.
• Abstract（参考訳）: State-Space Models (SSM) は、構造化された再帰で長距離の依存関係を捉えるのに優れ、シーケンスモデリングに適している。 しかし、その進化する内部状態は、継続学習(CL)の下でそれらを適応する上で困難をもたらす。 これは特に、事前データがないと動的SSM状態が制限されずに更新され、破滅的な忘れ物となるような、例えのない設定では特に困難である。 これを解決するために,無限次元グラスマン多様体の幾何を利用してCL中の状態の進化を制約する,新規でシンプルな幾何認識正規化法であるInf-SSMを提案する。 重み更新を制限する古典的連続学習法とは異なり、Inf-SSMは拡張可観測部分空間に符号化されたSSMの無限水平進化を正規化する。 この正規化を強制するには、一般に$\mathcal{O}(n^3)$複雑さを引き起こすシルヴェスター方程式と呼ばれる行列方程式を解く必要がある。 SSMの構造と性質を利用して$\mathcal{O}(n^2)$の解を開発する。 これにより、既存のCLメソッドにシームレスに統合できる効率的な正規化機構がもたらされる。 ImageNet-RやCaltech-256など、挑戦的なベンチマークに関する包括的な実験は、シーケンシャルタスク間の精度を改善しながら、忘れることの大幅な削減を実証している。

関連論文リスト

• Bridging Expressivity and Scalability with Adaptive Unitary SSMs [4.61803711540329]
  適応ユニタリ状態空間モデル(AUSSM)は、一様進化と高表現力を達成するために、スキュー対称で入力依存の再現性を持つ新しいSSMのクラスである。 この結果から,適応的ユニタリ再帰は,記号的および連続的シーケンスモデリングの両方において,強力かつ効率的なアルゴリズムバイアスを与えることが示された。
  論文  参考訳（メタデータ） (2025-07-07T17:47:16Z)
• Sequential-Parallel Duality in Prefix Scannable Models [68.39855814099997]
  近年では Gated Linear Attention (GLA) や Mamba など様々なモデルが開発されている。 ニアコンスタント時間並列評価と線形時間、定数空間シーケンシャル推論をサポートするニューラルネットワークモデルの全クラスを特徴付けることができるだろうか?
  論文  参考訳（メタデータ） (2025-06-12T17:32:02Z)
• Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling [19.10832920407789]
  我々は、メッセージパッシングニューラルネットワークフレームワークに直接、現代のSSMの鍵となる原則を組み込むことによって、新しい視点を導入する。 我々は,MP-SSMを用いて,メッセージパッシングのアーキテクチャ的単純さを保ちながら,効率よく,順列同変かつ長距離情報伝達を可能にする。
  論文  参考訳（メタデータ） (2025-05-24T14:53:07Z)
• Learning to Dissipate Energy in Oscillatory State-Space Models [55.09730499143998]
  状態空間モデル (SSM) はシーケンス学習のためのネットワークのクラスである。 我々は,D-LinOSSがLinOSSの手法を長距離学習タスクで一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-05-17T23:15:17Z)
• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系の一般設定におけるオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、$mathcalO(N epsilon2 + Mathrmln(m(epsilon)/epsilon2)$のポリシーを後悔する。 力学がコンパクトで実数値のパラメータ集合によってパラメータ化される特別な場合、$mathcalO(sqrt)のポリシー後悔を証明する。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
  継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。 ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。 大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
  論文  参考訳（メタデータ） (2024-11-23T06:36:16Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Learning Globally Smooth Functions on Manifolds [94.22412028413102]
  スムーズな関数の学習は、線形モデルやカーネルモデルなどの単純なケースを除いて、一般的に難しい。 本研究は,半無限制約学習と多様体正規化の技法を組み合わせることで,これらの障害を克服することを提案する。 軽度条件下では、この手法は解のリプシッツ定数を推定し、副生成物として大域的に滑らかな解を学ぶ。
  論文  参考訳（メタデータ） (2022-10-01T15:45:35Z)
• Efficiently Modeling Long Sequences with Structured State Spaces [15.456254157293836]
  本稿では,基本状態空間モデルに対する新しいパラメータ化に基づく新しいシーケンスモデルを提案する。 S4は、(i)データ拡張や補助損失を伴わないシーケンシャルCIFAR-10での91%の精度を含む、より大規模な2次元ResNetと同等の、さまざまな確立されたベンチマークで強力な実験結果を得る。
  論文  参考訳（メタデータ） (2021-10-31T03:32:18Z)
• Entanglement-Embedded Recurrent Network Architecture: Tensorized Latent State Propagation and Chaos Forecasting [0.0]
  カオス的時系列予測は、はるかに理解されていない。 従来の統計/ML法は非線形力学系におけるカオスを捉えるのに非効率である。 本稿では,LSTM(Long-term-Memory)ベースのリカレントアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-06-10T23:03:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。