論文の概要: On the Expressiveness of State Space Models via Temporal Logics
- arxiv url: http://arxiv.org/abs/2601.19467v1
- Date: Tue, 27 Jan 2026 10:49:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-28 15:26:51.290511
- Title: On the Expressiveness of State Space Models via Temporal Logics
- Title（参考訳）: 時相論理による状態空間モデルの表現性について
- Authors: Eric Alsmann, Lowejatan Noori, Martin Lange,
- Abstract要約: 状態空間モデル(SSM)の表現力について検討する。
SSMは、大きな言語モデルにおけるトランスフォーマーアーキテクチャの代替として出現した。
以上の結果から,SSMの表現能力は下層のゲーティング機構によって大きく異なることが明らかとなった。
- 参考スコア（独自算出の注目度）: 4.0782474409194736
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate the expressive power of state space models (SSM), which have recently emerged as a potential alternative to transformer architectures in large language models. Building on recent work, we analyse SSM expressiveness through fragments and extensions of linear temporal logic over finite traces. Our results show that the expressive capabilities of SSM vary substantially depending on the underlying gating mechanism. We further distinguish between SSM operating over fixed-width arithmetic (quantised models), whose expressive power remains within regular languages, and SSM with unbounded precision, which can capture counting properties and non-regular languages. In addition, we provide a systematic comparison between these different SSM variants and known results on transformers, thereby clarifying how the two architectures relate in terms of expressive power.
- Abstract（参考訳）: 大規模言語モデルにおけるトランスフォーマーアーキテクチャの代替として最近登場した状態空間モデル(SSM)の表現力について検討する。
最近の研究に基づいて,有限トレース上の線形時間論理の断片化と拡張によるSSM表現性の解析を行った。
以上の結果から,SSMの表現能力は下層のゲーティング機構によって大きく異なることが明らかとなった。
さらに、正規言語に表現力を持つ固定幅演算(量子化モデル)を演算するSSMと、カウント特性や非正規言語をキャプチャする非有界精度を持つSSMとを区別する。
さらに、これらの異なるSSM変種と変圧器の既知の結果との系統的比較を行い、この2つのアーキテクチャが表現力の観点でどのように関連しているかを明らかにする。
関連論文リスト
- Towards Understanding What State Space Models Learn About Code [5.605881212882263]
State Space Models (SSM) は、トランスフォーマーアーキテクチャの効率的な代替品として登場した。
近年の研究では、SSMは同様の条件下で訓練された場合、コード検索などのコード理解タスクにおいて、Transformerと一致したり、超えたりすることができることが示されている。
本稿では、SSMベースのコードモデルが実際に何を学習しているかを初めて体系的に分析し、SSMとTransformerベースのコードモデルの比較分析を行う。
論文 参考訳（メタデータ） (2026-02-06T15:29:46Z) - MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。
本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
論文 参考訳（メタデータ） (2025-12-29T19:36:28Z) - A Comparative Analysis of Contextual Representation Flow in State-Space and Transformer Architectures [27.45316137669387]
状態空間モデル(SSM)は、長いシーケンス処理のためにTransformer-Based Models(TBM)の効率的な代替品として登場した。
本稿では,SSM と TBM における表現伝搬の統一・トークン・層レベルでの初めての解析について述べる。
TBMはトークン表現を急速に均質化し、多様性は後層のみに再燃し、SSMはトークンの特異性を早期に保存するが、より深い均質化に収束する。
論文 参考訳（メタデータ） (2025-10-08T04:46:11Z) - Message-Passing State-Space Models: Improving Graph Learning with Modern Sequence Modeling [19.10832920407789]
我々は、メッセージパッシングニューラルネットワークフレームワークに直接、現代のSSMの鍵となる原則を組み込むことによって、新しい視点を導入する。
我々は,MP-SSMを用いて,メッセージパッシングのアーキテクチャ的単純さを保ちながら,効率よく,順列同変かつ長距離情報伝達を可能にする。
論文 参考訳（メタデータ） (2025-05-24T14:53:07Z) - Understanding and Mitigating Bottlenecks of State Space Models through the Lens of Recency and Over-smoothing [56.66469232740998]
構造化状態空間モデル (Structured State Space Models, SSMs) は, 強い相対バイアスによって本質的に制限されていることを示す。
このバイアスにより、モデルが遠方の情報を思い出す能力が損なわれ、堅牢性の問題がもたらされる。
本研究では, 状態遷移行列の2つのチャネルをSSMで分極し, それぞれ0と1に設定し, 電流バイアスと過平滑化に同時に対処することを提案する。
論文 参考訳（メタデータ） (2024-12-31T22:06:39Z) - On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages [56.22289522687125]
SSM(Selective State-space Model)はTransformerの代替品である。
正規言語タスクにおける表現性や長さの一般化性能を解析する。
本稿では,Selective Dense State-Space Model (SD-SSM)を紹介する。
論文 参考訳（メタデータ） (2024-12-26T20:53:04Z) - Provable Benefits of Complex Parameterizations for Structured State Space Models [51.90574950170374]
構造化状態空間モデル (Structured State Space Model, SSM) は、指定された構造に固執する線形力学系である。
パラメータ化が現実の典型的なニューラルネットワークモジュールとは対照的に、SSMは複雑なパラメータ化を使用することが多い。
本稿では,実対角 SSM と複素対角 SSM の形式的ギャップを確立することにより,SSM の複雑なパラメータ化の利点を説明する。
論文 参考訳（メタデータ） (2024-10-17T22:35:50Z) - The Expressive Capacity of State Space Models: A Formal Language Perspective [0.8948475969696075]
線形状態空間モデル(SSM)に基づくリカレントモデルは、言語モデリング(LM)において有望な性能を示した。
本稿では,変換器や従来のRNNと比較して,そのようなSSMの容量に関する包括的理論的研究を行う。
論文 参考訳（メタデータ） (2024-05-27T17:46:57Z) - Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。
最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。
ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
論文 参考訳（メタデータ） (2024-02-29T11:20:16Z) - State space models can express n-gram languages [51.823427608117626]
我々は、n-gramルールから生成された言語に対して、次の単語予測タスクを解くことのできる状態空間言語モデルを構築している。
我々の証明は、SSMがn-gramルールをその能力に関する新たな理論的結果を用いてエンコードする方法を示している。
n-gramルールから生成された小さなデータセットを用いて実験を行い、勾配に基づく最適化によって得られたSSMやRNNにフレームワークをどのように適用できるかを示す。
論文 参考訳（メタデータ） (2023-06-20T10:41:23Z) - Disentangling Structured Components: Towards Adaptive, Interpretable and
Scalable Time Series Forecasting [52.47493322446537]
本研究では,時空間パターンの各コンポーネントを個別にモデル化する適応的,解釈可能,スケーラブルな予測フレームワークを開発する。
SCNNは、空間時間パターンの潜在構造を算術的に特徴づける、MSSの事前定義された生成プロセスで動作する。
SCNNが3つの実世界のデータセットの最先端モデルよりも優れた性能を達成できることを示すため、大規模な実験が行われた。
論文 参考訳（メタデータ） (2023-05-22T13:39:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。