論文の概要: Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models

• arxiv url: http://arxiv.org/abs/2605.19150v1
• Date: Mon, 18 May 2026 22:06:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.010057
• Title: Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models
• Title（参考訳）: Flash PD-SSM:メモリ最適化された構造化スパース状態空間モデル
• Authors: Aleksandar Terzić, Francesco Carzaniga, Nicolas Menet, Yannick Biehl, Michael Hersche, Thomas Hofmann, Abbas Rahimi,
• Abstract要約: 状態空間モデル(SSM)は効率性と表現性の間に根本的なトレードオフに直面している。 我々はFlash PD-SSMを提案する。これは、広く使われている構造化SSMに匹敵するスループットを実現し、表現性を保証する。 我々は、Flash PD-SSMが競合するSSM法の中で新しい最先端(SoTA)の精度を定義していることを示す。
• 参考スコア（独自算出の注目度）: 62.362971723881095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State-space models (SSMs) face a fundamental trade-off between efficiency and expressivity that is mainly dictated by the structure of the model's transition matrix. Unstructured transition matrices enable maximal expressivity, as measured by their ability to model finite-state automaton (FSA) transitions, but come at a prohibitively high compute and memory cost. In contrast, most structured transition matrix forms are highly efficient both in runtime and memory consumption, but suffer from limited expressivity. Building on recent work on structured sparse SSMs, we propose Flash PD-SSM, a novel SSM that achieves comparable throughput to widely-used structured SSMs with significantly better expressivity guarantees. Flash PD-SSM maintains a trainable set of structured sparse matrices, a single one of which is discretely selected at each time-step, enabling FSA expressiveness at the level of unstructured matrices while maintaining the efficiency required for training models at scale. First, we validate Flash PD-SSM against a suite of alternative models on synthetic mechanistic and state-tracking tasks, finding that its theoretical expressivity is achieved in practice. Second, on multivariate time-series tasks involving sequences of length over 17,000, we find that Flash PD-SSM defines a new state-of-the-art (SoTA) accuracy among competing SSM methods. Finally, we demonstrate that Flash PD-SSM is an effective drop-in replacement for hybrid LLMs, yielding improvements both in natural language state-tracking and in common language modeling scenarios. The model exhibits increased throughput and decreased memory consumption compared to SSMs widely used in frontier language models.
• Abstract（参考訳）: 状態空間モデル(SSM)は、効率と表現率の基本的なトレードオフに直面し、主にモデルの遷移行列の構造によって決定される。 非構造遷移行列は有限状態オートマトン(FSA)遷移をモデル化する能力によって測定されるように、最大表現性を実現するが、計算とメモリコストは極めて高い。 対照的に、ほとんどの構造化された遷移行列形式は実行時とメモリ消費の両方で非常に効率的であるが、限られた表現性に悩まされている。 構造化されたスパースSSMに関する最近の研究に基づいて,より優れた表現性を保証するとともに,広く使用されている構造化SSMに匹敵するスループットを実現する新しいSSMであるFlash PD-SSMを提案する。 Flash PD-SSMは、構造化されたスパース行列のトレーニング可能なセットを保持し、その1つが各タイミングで個別に選択され、スケールでモデルのトレーニングに必要な効率を維持しながら、非構造化された行列のレベルでFSA表現性を実現する。 まず,Flash PD-SSMを,合成力学および状態追跡タスクの代替モデル群に対して検証し,その理論的表現性が実際に達成されていることを確認する。 第2に、長さ17,000以上のシーケンスを含む多変量時系列タスクにおいて、Flash PD-SSMが競合するSSMメソッド間で新しい最先端(SoTA)の精度を定義する。 最後に,Flash PD-SSM がハイブリッド LLM の効果的なドロップイン置換であることを示す。 このモデルは、フロンティア言語モデルで広く使われているSSMと比較してスループットが向上し、メモリ消費が減少する。

関連論文リスト

• MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
  状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
  論文  参考訳（メタデータ） (2025-12-29T19:36:28Z)
• Structured Sparse Transition Matrices to Enable State Tracking in State-Space Models [68.31088463716269]
  状態空間モデル(SSM)における遷移行列の構造的スパースパラメトリゼーションを提案する。 我々の方法PD-SSMは、遷移行列をカラム1ホット行列(P$)と複素数値対角行列(D$)の積としてパラメータ化する。 このモデルは、様々なFSA状態追跡タスクにおいて、現代のSSMの多種多様なバリエーションを著しく上回っている。
  論文  参考訳（メタデータ） (2025-09-26T12:46:30Z)
• Longhorn: State Space Models are Amortized Online Learners [51.10124201221601]
  ステートスペースモデル(SSM)は、トレーニング中に並列性を維持しながら線形デコード効率を提供する。 本研究では、オンライン学習のレンズを通してSSM設計を探求し、特定のオンライン学習問題のメタモジュールとしてSSMを概念化する。 我々は、オンライン連想的リコール問題を解決するためのクローズドフォームソリューションに類似した、新しいディープSSMアーキテクチャであるLonghornを紹介した。
  論文  参考訳（メタデータ） (2024-07-19T11:12:08Z)
• HOPE for a Robust Parameterization of Long-memory State Space Models [51.66430224089725]
  線形時間不変(LTI)システムを利用する状態空間モデル(SSM)は、長いシーケンスの学習において有効であることが知られている。 我々は,ハンケル作用素内のマルコフパラメータを利用するLTIシステムに対して,HOPEと呼ばれる新しいパラメータ化手法を開発した。 我々の新しいパラメータ化は、固定時間ウィンドウ内に非遅延メモリを付与し、パッドドノイズのあるシーケンシャルCIFAR-10タスクによって実証的に相関する。
  論文  参考訳（メタデータ） (2024-05-22T20:20:14Z)
• Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。