論文の概要: On the Expressiveness of State Space Models via Temporal Logics

• arxiv url: http://arxiv.org/abs/2601.19467v1
• Date: Tue, 27 Jan 2026 10:49:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-28 15:26:51.290511
• Title: On the Expressiveness of State Space Models via Temporal Logics
• Title（参考訳）: 時相論理による状態空間モデルの表現性について
• Authors: Eric Alsmann, Lowejatan Noori, Martin Lange,
• Abstract要約: 状態空間モデル(SSM)の表現力について検討する。 SSMは、大きな言語モデルにおけるトランスフォーマーアーキテクチャの代替として出現した。 以上の結果から,SSMの表現能力は下層のゲーティング機構によって大きく異なることが明らかとなった。
• 参考スコア（独自算出の注目度）: 4.0782474409194736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the expressive power of state space models (SSM), which have recently emerged as a potential alternative to transformer architectures in large language models. Building on recent work, we analyse SSM expressiveness through fragments and extensions of linear temporal logic over finite traces. Our results show that the expressive capabilities of SSM vary substantially depending on the underlying gating mechanism. We further distinguish between SSM operating over fixed-width arithmetic (quantised models), whose expressive power remains within regular languages, and SSM with unbounded precision, which can capture counting properties and non-regular languages. In addition, we provide a systematic comparison between these different SSM variants and known results on transformers, thereby clarifying how the two architectures relate in terms of expressive power.
• Abstract（参考訳）: 大規模言語モデルにおけるトランスフォーマーアーキテクチャの代替として最近登場した状態空間モデル(SSM)の表現力について検討する。 最近の研究に基づいて,有限トレース上の線形時間論理の断片化と拡張によるSSM表現性の解析を行った。 以上の結果から,SSMの表現能力は下層のゲーティング機構によって大きく異なることが明らかとなった。 さらに、正規言語に表現力を持つ固定幅演算(量子化モデル)を演算するSSMと、カウント特性や非正規言語をキャプチャする非有界精度を持つSSMとを区別する。 さらに、これらの異なるSSM変種と変圧器の既知の結果との系統的比較を行い、この2つのアーキテクチャが表現力の観点でどのように関連しているかを明らかにする。

関連論文リスト

• MS-SSM: A Multi-Scale State Space Model for Efficient Sequence Modeling [60.648359990090846]
  状態空間モデル(SSM)は、最近、計算コストのかかるシーケンスモデルに対する効率的な代替手段として注目されている。 本稿では,複数の解像度にまたがるシーケンスダイナミクスを表現するマルチスケールSSMフレームワークを提案し,各解像度を特殊な状態空間ダイナミクスで処理する。
  論文  参考訳（メタデータ） (2025-12-29T19:36:28Z)
• On the Expressiveness and Length Generalization of Selective State-Space Models on Regular Languages [56.22289522687125]
  SSM(Selective State-space Model)はTransformerの代替品である。 正規言語タスクにおける表現性や長さの一般化性能を解析する。 本稿では,Selective Dense State-Space Model (SD-SSM)を紹介する。
  論文  参考訳（メタデータ） (2024-12-26T20:53:04Z)
• Provable Benefits of Complex Parameterizations for Structured State Space Models [51.90574950170374]
  構造化状態空間モデル (Structured State Space Model, SSM) は、指定された構造に固執する線形力学系である。 パラメータ化が現実の典型的なニューラルネットワークモジュールとは対照的に、SSMは複雑なパラメータ化を使用することが多い。 本稿では,実対角 SSM と複素対角 SSM の形式的ギャップを確立することにより,SSM の複雑なパラメータ化の利点を説明する。
  論文  参考訳（メタデータ） (2024-10-17T22:35:50Z)
• The Expressive Capacity of State Space Models: A Formal Language Perspective [0.8948475969696075]
  線形状態空間モデル(SSM)に基づくリカレントモデルは、言語モデリング(LM)において有望な性能を示した。 本稿では,変換器や従来のRNNと比較して,そのようなSSMの容量に関する包括的理論的研究を行う。
  論文  参考訳（メタデータ） (2024-05-27T17:46:57Z)
• Theoretical Foundations of Deep Selective State-Space Models [13.971499161967083]
  ディープSSMは、さまざまなドメインセットで優れたパフォーマンスを示す。 最近の研究で、線形リカレンス電力が入力と隠れ状態の間の乗法的相互作用を可能にすることが示されている。 ランダム線形再帰が単純な入力制御遷移を備える場合、隠れ状態は強力な数学的対象の低次元射影であることを示す。
  論文  参考訳（メタデータ） (2024-02-29T11:20:16Z)
• State space models can express n-gram languages [51.823427608117626]
  我々は、n-gramルールから生成された言語に対して、次の単語予測タスクを解くことのできる状態空間言語モデルを構築している。 我々の証明は、SSMがn-gramルールをその能力に関する新たな理論的結果を用いてエンコードする方法を示している。 n-gramルールから生成された小さなデータセットを用いて実験を行い、勾配に基づく最適化によって得られたSSMやRNNにフレームワークをどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2023-06-20T10:41:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。