論文の概要: On the Relation of State Space Models and Hidden Markov Models

• arxiv url: http://arxiv.org/abs/2601.13357v1
• Date: Mon, 19 Jan 2026 19:51:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.0402
• Title: On the Relation of State Space Models and Hidden Markov Models
• Title（参考訳）: 状態空間モデルと隠れマルコフモデルの関係について
• Authors: Aydin Ghojogh, M. Hadi Sepanj, Benyamin Ghojogh,
• Abstract要約: State Space Models (SSM) と Hidden Markov Models (HMM) は、遅延変数で逐次データをモデリングするための基礎的なフレームワークである。 最近の決定論的状態空間モデルは、S4やMambaのようなアーキテクチャを通して自然言語処理に再導入されている。
• 参考スコア（独自算出の注目度）: 0.07646713951724009
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State Space Models (SSMs) and Hidden Markov Models (HMMs) are foundational frameworks for modeling sequential data with latent variables and are widely used in signal processing, control theory, and machine learning. Despite their shared temporal structure, they differ fundamentally in the nature of their latent states, probabilistic assumptions, inference procedures, and training paradigms. Recently, deterministic state space models have re-emerged in natural language processing through architectures such as S4 and Mamba, raising new questions about the relationship between classical probabilistic SSMs, HMMs, and modern neural sequence models. In this paper, we present a unified and systematic comparison of HMMs, linear Gaussian state space models, Kalman filtering, and contemporary NLP state space models. We analyze their formulations through the lens of probabilistic graphical models, examine their inference algorithms -- including forward-backward inference and Kalman filtering -- and contrast their learning procedures via Expectation-Maximization and gradient-based optimization. By highlighting both structural similarities and semantic differences, we clarify when these models are equivalent, when they fundamentally diverge, and how modern NLP SSMs relate to classical probabilistic models. Our analysis bridges perspectives from control theory, probabilistic modeling, and modern deep learning.
• Abstract（参考訳）: State Space Models (SSM) と Hidden Markov Models (HMM) は、遅延変数で逐次データをモデリングするための基礎的なフレームワークであり、信号処理、制御理論、機械学習で広く使われている。 時間構造を共有しているにもかかわらず、それらは基本的に潜伏状態の性質、確率論的仮定、推論手順、訓練パラダイムに異なる。 近年、S4 や Mamba などのアーキテクチャを通じて、決定論的状態空間モデルが自然言語処理に再導入され、古典的確率的 SSM と HMM と現代のニューラルシーケンスモデルとの関係に関する新たな疑問が提起されている。 本稿では,HMM,線形ガウス状態空間モデル,カルマンフィルタ,現代NLP状態空間モデルの統一的かつ体系的な比較について述べる。 確率的グラフィカルモデルのレンズを用いてそれらの定式化を分析し、前向きの推論やカルマンフィルタリングを含む推論アルゴリズムを調べ、予測最大化と勾配に基づく最適化を通じて学習手順を対比する。 構造的類似点と意味的相違点の両方を強調することで、これらのモデルがいつ等価であるか、どのように根本的に分岐するか、そして現代のNLP SSMが古典的確率モデルとどのように関連しているかを明らかにする。 我々の分析は制御理論、確率論的モデリング、そして現代のディープラーニングの視点を橋渡しする。

関連論文リスト

• From Classical Probabilistic Latent Variable Models to Modern Generative AI: A Unified Perspective [1.482314366716538]
  生成人工知能(AI)は、現在最先端のシステムを支える。 様々なアーキテクチャにもかかわらず、多くの人が確率的潜在変数モデル(PLVM)の共通基盤を共有している。 本稿では,PLVMパラダイム内での古典的手法と近代的手法の融合による統一的な視点を示す。
  論文  参考訳（メタデータ） (2025-08-18T11:02:32Z)
• Deep Learning-based Approaches for State Space Models: A Selective Review [15.295157876811066]
  状態空間モデル(SSM)は動的システム解析のための強力なフレームワークを提供する。 本稿では、SSMに対するディープニューラルネットワークに基づくアプローチの最近の進歩を選択的にレビューする。
  論文  参考訳（メタデータ） (2024-12-15T15:04:35Z)
• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• Understanding the differences in Foundation Models: Attention, State Space Models, and Recurrent Neural Networks [50.29356570858905]
  本稿では,これらすべてのアーキテクチャの共通表現に関する原則的な調査を可能にする動的システムフレームワーク(DSF)について紹介する。 ソフトマックスアテンションと他のモデルクラスとの原理的比較を行い、ソフトマックスアテンションを近似できる理論条件について議論する。 このことは、DSFが将来のより効率的でスケーラブルな基盤モデルの体系的な開発を導く可能性を示している。
  論文  参考訳（メタデータ） (2024-05-24T17:19:57Z)
• eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
  非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。 我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
  論文  参考訳（メタデータ） (2024-03-03T02:19:49Z)
• Distributed Bayesian Learning of Dynamic States [65.7870637855531]
  提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。 逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
  論文  参考訳（メタデータ） (2022-12-05T19:40:17Z)
• On the Influence of Enforcing Model Identifiability on Learning dynamics of Gaussian Mixture Models [14.759688428864159]
  特異モデルからサブモデルを抽出する手法を提案する。 本手法はトレーニング中のモデルの識別性を強制する。 この手法がディープニューラルネットワークのようなより複雑なモデルにどのように適用できるかを示す。
  論文  参考訳（メタデータ） (2022-06-17T07:50:22Z)
• Surrogate Modeling for Physical Systems with Preserved Properties and Adjustable Tradeoffs [0.0]
  代理モデルを生成するためのモデルベースおよびデータ駆動型戦略を提案する。 後者は、前提となる位相構造に人工的関係を組み込むことで解釈可能な代理モデルを生成する。 我々のフレームワークは、分散パラメータモデルのための様々な空間離散化スキームと互換性がある。
  論文  参考訳（メタデータ） (2022-02-02T17:07:02Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。