論文の概要: A Simple State Space Model Excels at Multivariate Time Series Classification
- arxiv url: http://arxiv.org/abs/2605.27406v1
- Date: Thu, 07 May 2026 00:49:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 02:55:43.016607
- Title: A Simple State Space Model Excels at Multivariate Time Series Classification
- Title(参考訳): 多変量時系列分類のための簡易状態空間モデルExcel
- Authors: Hassan Saadatmand, Geoffrey I. Webb, Hamid Rezatofighi, Mahsa Salehi,
- Abstract要約: 対角SSM(S4D)と入力依存SSM(Mamba family)を対象とする大規模TSCベンチマークの系統的研究を行った。
S4Dは、精度と効率の両面で、Mambaベースの変種を一貫して上回っている。
線形入力プロジェクションとチャネル混合機構によりS4Dに軽量な修正を加えたMS4Nと、無視できないオーバーヘッドで状態ダイナミクスを安定化する正規化変種であるMS4Nを紹介する。
- 参考スコア(独自算出の注目度): 20.400131260544764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Structured state space models (SSMs) have recently emerged as a promising foundation for sequence modeling, with Mamba-based architectures demonstrating strong performance through input-dependent state transitions, albeit at considerable complexity. However, their application to time-series classification (TSC) has been largely limited to Mamba-style architectures, leaving the broader SSM design space underexplored. We present the first systematic study spanning diagonal SSMs (S4D) and input-dependent SSMs (Mamba family) on large-scale TSC benchmarks, asking whether such complexity is necessary for top performance. Our results reveal a surprising finding: S4D consistently outperforms Mamba-based variants in both accuracy and efficiency, challenging the assumption that increased complexity translates to meaningful gains in TSC. Building on this, we introduce MS4, lightweight modifications to S4D via a linear input projection and channel-mixing mechanism, and MS4N, a normalized variant that stabilizes state dynamics with negligible overhead. Evaluated on 59 datasets across MONSTER (up to 60 million samples, 50K timesteps, 82 classes) and the UEA benchmark, against 15 baselines, MS4 and MS4N consistently outperform Mamba-based models while remaining more efficient, and MS4N matches or surpasses competing deep learning models that are roughly 2x and 10x larger in parameters. These results position lightweight structured SSMs as a compelling alternative to scaling complexity for TSC.
- Abstract(参考訳): 構造化状態空間モデル (Structured State Space Model, SSM) は、最近、シーケンスモデリングの有望な基盤として登場し、Mambaベースのアーキテクチャは、入力依存の状態遷移を通じて強力なパフォーマンスを示すが、かなり複雑である。
しかしながら、TSC (Time-Series Classification) へのそれらの適用は、より広いSSM設計空間を探索する余地を残し、マンバスタイルのアーキテクチャに限られている。
本稿では,大規模なTSCベンチマークにおいて,対角SSM(S4D)と入力依存SSM(Mamba family)にまたがる最初の体系的研究について述べる。
S4DはMambaベースの変種を精度と効率の両方で一貫して上回り、複雑性の増大はTSCにおいて有意義な利益をもたらすという仮定に挑戦する。
これに基づいて、線形入力投影とチャネル混合機構によるS4Dの軽量な修正であるMS4Nと、無視可能なオーバーヘッドで状態ダイナミクスを安定化する正規化変種であるMS4Nを導入する。
MONSTERの59のデータセット(最大6000万のサンプル、50万のタイムステップ、82のクラス)とUEAベンチマークで評価され、15のベースライン、MS4とMS4NはMambaベースのモデルより一貫して優れている一方で、MS4Nはパラメータの約2倍と10倍の競合するディープラーニングモデルにマッチするか、上回っている。
これらの結果から,TSCのスケーリング複雑性の代替として,軽量な構造化SSMを位置づけた。
関連論文リスト
- Looped SSMs: Depth-Recurrence and Input Reshaping for Time Series Classification [50.994194925685434]
パラメータが$k$のループSSMが$L$倍に反復され、標準SSMと一貫して一致し、性能が良くなることを示す。
また、入力再フォーマットは等しく無視された設計軸であることを示す。
論文 参考訳(メタデータ) (2026-05-15T15:18:12Z) - W4S4: WaLRUS Meets S4 for Long-Range Sequence Modeling [23.453158933852357]
状態空間モデル(SSM)は、シーケンスモデリングの強力なコンポーネントとして登場した。
冗長ウェーブレットフレームから構築された新しいSSMであるW4S4(WaLRUS for S4)を導入する。
我々は,HipPOをベースとしたSSMよりも長い地平線上での情報保持が極めて優れていることを示す。
論文 参考訳(メタデータ) (2025-06-09T16:33:29Z) - S4M: S4 for multivariate time series forecasting with Missing values [30.547886613423994]
時系列データは、幅広い現実世界のアプリケーションにおいて重要な役割を果たす。
従来の2段階のアプローチは、最初は欠落した値を入力し、次に予測するが、エラーの蓄積が難しくなる。
S4Mは、欠落したデータ処理を構造化状態空間シーケンスモデルアーキテクチャにシームレスに統合する、エンドツーエンドの時系列予測フレームワークである。
論文 参考訳(メタデータ) (2025-03-02T13:59:59Z) - Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning [54.19222454702032]
継続的学習は、AIモデルに時間とともに一連のタスクを学習する能力を持たせることを目的としている。
ステートスペースモデル(SSM)はコンピュータビジョンにおいて顕著な成功を収めた。
大規模マンバ基礎モデルのコアSSMを連続的に微調整するフレームワークであるMamba-CLを紹介する。
論文 参考訳(メタデータ) (2024-11-23T06:36:16Z) - GroupMamba: Efficient Group-Based Visual State Space Model [66.35608254724566]
状態空間モデル(SSM)は、最近、四次計算の複雑さで長距離依存を捉えることを約束している。
しかし、純粋にSSMベースのモデルは、コンピュータビジョンタスクにおける安定性と最先端の性能を達成するために重要な課題に直面している。
本稿では,コンピュータビジョンのためのSSMベースのモデルをスケールする上での課題,特に大規模モデルの不安定性と非効率性について論じる。
論文 参考訳(メタデータ) (2024-07-18T17:59:58Z) - Liquid Structural State-Space Models [106.74783377913433]
Liquid-S4はLong-Range Arenaベンチマークで平均87.32%の性能を達成した。
全生音声コマンド認識では、データセットLiquid-S4は96.78%の精度で、S4と比較してパラメータ数が30%減少している。
論文 参考訳(メタデータ) (2022-09-26T18:37:13Z) - Simplified State Space Layers for Sequence Modeling [11.215817688691194]
近年、構造化された状態空間列層を用いたモデルが、多くの長距離タスクにおいて最先端の性能を達成している。
ハイパフォーマンスにはHiPPOフレームワークに密接に従う必要があるという考えを再考する。
我々は、S4層が使用する多くの独立したシングルインプット、シングルアウトプット(SISO)SSMのバンクを、1つのマルチインプット、マルチアウトプット(MIMO)SSMで置き換える。
S5は、Long Range Arenaベンチマークスイートで平均82.46%を達成することを含む、長距離タスクにおけるS4のパフォーマンスと一致している。
論文 参考訳(メタデータ) (2022-08-09T17:57:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。