論文の概要: MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling

• arxiv url: http://arxiv.org/abs/2512.23824v1
• Date: Mon, 29 Dec 2025 19:36:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.187999
• Title: MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling
• Title（参考訳）: MS-SSM:効率的なシーケンスモデリングのためのマルチスケール状態空間モデル
• Authors: Mahdi Karami, Ali Behrouz, Peilin Zhong, Razvan Pascanu, Vahab Mirrokni,
• Abstract要約: 状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
• 参考スコア（独自算出の注目度）: 60.648359990090846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-space models (SSMs) have recently attention as an efficient alternative to computationally expensive attention-based models for sequence modeling. They rely on linear recurrences to integrate information over time, enabling fast inference, parallelizable training, and control over recurrence stability. However, traditional SSMs often suffer from limited effective memory, requiring larger state sizes for improved recall. Moreover, existing SSMs struggle to capture multi-scale dependencies, which are essential for modeling complex structures in time series, images, and natural language. This paper introduces a multi-scale SSM framework that addresses these limitations by representing sequence dynamics across multiple resolution and processing each resolution with specialized state-space dynamics. By capturing both fine-grained, high-frequency patterns and coarse, global trends, MS-SSM enhances memory efficiency and long-range modeling. We further introduce an input-dependent scale-mixer, enabling dynamic information fusion across resolutions. The proposed approach significantly improves sequence modeling, particularly in long-range and hierarchical tasks, while maintaining computational efficiency. Extensive experiments on benchmarks, including Long Range Arena, hierarchical reasoning, time series classification, and image recognition, demonstrate that MS-SSM consistently outperforms prior SSM-based models, highlighting the benefits of multi-resolution processing in state-space architectures.
• Abstract（参考訳）: 状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 時間とともに情報を統合し、高速な推論、並列化可能なトレーニング、繰り返し安定性の制御を可能にするために、線形反復に依存する。 しかしながら、従来のSSMは、リコールを改善するためにより大きな状態サイズを必要とするため、有効メモリの制限に悩まされることが多い。 さらに、既存のSSMは、時系列、画像、自然言語の複雑な構造をモデル化するのに欠かせない、マルチスケールの依存関係を捉えるのに苦労している。 本稿では、複数の解像度にまたがるシーケンスダイナミクスを表現し、各解像度を特殊な状態空間ダイナミクスで処理することで、これらの制約に対処するマルチスケールSSMフレームワークを提案する。 微細で高周波なパターンと粗いグローバルトレンドの両方をキャプチャすることで、MS-SSMはメモリ効率と長距離モデリングを向上させる。 さらに、インプット依存のスケールミキサーを導入し、解像度をまたいだ動的情報融合を可能にする。 提案手法は、特に長距離および階層的なタスクにおいて、計算効率を保ちながら、シーケンスモデリングを大幅に改善する。 Long Range Arena、階層的推論、時系列分類、画像認識などのベンチマーク実験は、MS-SSMがステートスペースアーキテクチャにおけるマルチレゾリューション処理の利点を浮き彫りにして、従来のSSMモデルよりも一貫して優れていることを示した。

関連論文リスト

• Compute-in-Memory Implementation of State Space Models for Event Sequence Processing [10.673140569452274]
  状態空間モデル(SSM)は、長いシーケンス処理のための強力なフレームワークとして登場した。 本稿では,リアルタイムなイベント駆動処理を実現するために,エネルギー効率の高い計算インメモリハードウェアにSSMを実装する手法を提案する。
  論文  参考訳（メタデータ） (2025-11-17T21:06:52Z)
• Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling [19.10832920407789]
  我々は、メッセージパッシングニューラルネットワークフレームワークに直接、現代のSSMの鍵となる原則を組み込むことによって、新しい視点を導入する。 我々は,MP-SSMを用いて,メッセージパッシングのアーキテクチャ的単純さを保ちながら,効率よく,順列同変かつ長距離情報伝達を可能にする。
  論文  参考訳（メタデータ） (2025-05-24T14:53:07Z)
• Efficient High-Resolution Visual Representation Learning with State Space Model for Human Pose Estimation [60.80423207808076]
  高解像度の視覚表現を維持しながら長距離依存関係をキャプチャすることは、人間のポーズ推定のような密集した予測タスクに不可欠である。 マルチスケールの畳み込み操作で視覚状態空間モデルを拡張する動的ビジュアル状態空間(DVSS)ブロックを提案する。 HRVMambaは効率的な高分解能表現学習のための新しいモデルである。
  論文  参考訳（メタデータ） (2024-10-04T06:19:29Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• Chimera: Effectively Modeling Multivariate Time Series with 2-Dimensional State Space Models [5.37935922811333]
  State Space Models (SSM) は、一変量時系列モデリングのための古典的なアプローチである。 本稿では、2つの入力依存型2次元SSMヘッドと異なる離散化プロセスを用いて長期進行と季節パターンを学習するチメラについて述べる。 実験により,広範囲で多様なベンチマークにおいて,Chimeraの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-06T17:58:09Z)
• SMR: State Memory Replay for Long Sequence Modeling [19.755738298836526]
  本稿では並列畳み込み計算における互換性の限界を克服する新しい非再帰的非一様サンプル処理戦略を提案する。 本研究では,学習可能な記憶を利用する状態記憶再生(SMR)を導入し,学習データと異なるサンプリングポイントでの一般化のために,現在の状態を多段階情報で調整する。 自己回帰言語モデリングとLong Range Arenaにおける長距離モデリングタスクの実験は、一連のSSMモデルに対するSMRメカニズムの一般的な効果を実証している。
  論文  参考訳（メタデータ） (2024-05-27T17:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。