論文の概要: Two-Layer Linear Auto-Regressive Models Estimate Latent States

• arxiv url: http://arxiv.org/abs/2606.12691v1
• Date: Wed, 10 Jun 2026 21:25:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 15:55:27.470746
• Title: Two-Layer Linear Auto-Regressive Models Estimate Latent States
• Title（参考訳）: 2層線形自己回帰モデルによる潜在状態の推定
• Authors: Yahya Sattar, Sunmook Choi, Leo Maynard-Zhang, Yassir Jedra, Maryam Fazel, Sarah Dean,
• Abstract要約: 2層自己回帰モデルがカルマン潜時推定を近似するためにどのように学習するかを示す。 また、自己回帰モデルの表現が状態推定を回復することを示す。
• 参考スコア（独自算出の注目度）: 20.029974938994663
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auto-regressive models have emerged as powerful tools for sequential data, from language to video. Understanding how and why these models learn latent representations remains an open theoretical question. In this work, we demonstrate that when trained by empirical risk minimization on data from partially observed linear dynamical systems, two-layer linear auto-regressive models naturally learn to approximate Kalman filtering. In particular, we show that the learned hidden representation coincides, up to a similarity transformation, with the state estimates produced by the optimal (Kalman) filter, even though the model has no explicit knowledge of the underlying dynamics or state. The result follows from three main insights. First, we establish that the Kalman filter is well approximated by an auto-regressive model with bounded truncation error. Second, we show that despite non-convexity, the two-layer optimization landscape is benign, i.e., all stationary points are either strict saddles or global minima. Finally, as our main contributions, we provide finite-sample guarantees on prediction error, parameter estimation error, and latent state recovery. Numerical simulations support the theoretical results and demonstrate that the latent representations of auto-regressive models recover state estimates.
• Abstract（参考訳）: 自動回帰モデルは、言語からビデオまで、シーケンシャルデータのための強力なツールとして登場した。 これらのモデルがどのようにして、なぜ潜在表現を学ぶのかを理解することは、オープンな理論上の問題である。 本研究では、部分的に観測された線形力学系からのデータに対する経験的リスク最小化によって訓練された場合、2層線形自己回帰モデルがカルマンフィルタの近似を自然に学習することを示した。 特に、学習された隠れ表現は、基礎となる力学や状態について明確な知識を持たないにもかかわらず、最適(カルマン)フィルタによって生成される状態推定と類似性変換に一致することを示す。 結果は3つの主要な洞察から導かれる。 まず、カルマンフィルタが有界乱数誤差を持つ自己回帰モデルによりよく近似されていることを確かめる。 第二に、非凸性にもかかわらず、二層最適化のランドスケープは良性であり、すなわち、全ての定常点は厳密なサドルまたは大域的なミニマである。 最後に、本研究の主な貢献として、予測誤差、パラメータ推定誤差、潜時状態回復に関する有限サンプル保証を提供する。 数値シミュレーションは理論結果を支持し、自己回帰モデルの潜在表現が状態推定を回復することを示した。

関連論文リスト

• Asymmetric Scaling Laws from Sparse Features [2.7838875470471858]
  スパースアクティベーションの下でのニューラルスケーリング法則のモデルを導入する。 テスト損失は、しばしばトレーニング入力で観測されない稀な座標によって支配される。 本研究は, 非線形活性化下では, 疎水性による効果が持続することを示す。
  論文  参考訳（メタデータ） (2026-05-22T13:00:52Z)
• Order-Agnostic Autoregressive Modelling with Missing Data [12.971361761803891]
  本研究では,無秩序な自己回帰モデルが,無作為なランダムな機構の下で暗黙的に不規則化を行うことを示す。 一般的な欠落メカニズムの下で、不完全なデータセットを直接トレーニングするための、最初の原則付きフレームワークを紹介します。 私たちのMissingness-Aware Order-Agnostic Autoregressive Modelは、実世界のベンチマークの中で、確立された計算基準よりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-05-07T14:34:08Z)
• GKNet: Graph Kalman Filtering and Model Inference via Model-based Deep Learning [10.609815608017065]
  グラフ上の時系列による推論タスクは、都市水ネットワーク、経済学、ネットワーク化された神経科学などの応用において重要である。 グラフ時間列に対するグラフ対応状態空間モデルを提案する。このモデルでは、潜時状態と観測方程式の両方がパラメトリックグラフ誘導モデルであり、学習すべきパラメータが限られている。
  論文  参考訳（メタデータ） (2025-06-27T08:17:07Z)
• Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning [0.0]
  指数族に属するモデルに対する閉ループ学習について検討する。 パラメータの最大確率は、マーチンゲール特性に十分な統計量を与えることを示す。 この結果が,地上の真理モデルから生成された少なくとも1つのデータポイントを含む場合,この結果が防止されることが示唆された。
  論文  参考訳（メタデータ） (2025-06-25T17:12:22Z)
• Derivative-Free Diffusion Manifold-Constrained Gradient for Unified XAI [59.96044730204345]
  微分自由拡散多様体制約勾配(FreeMCG)を導入する。 FreeMCGは、与えられたニューラルネットワークの説明可能性を改善する基盤として機能する。 提案手法は,XAIツールが期待する本質性を保ちながら,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2024-11-22T11:15:14Z)
• Uncertainty Representations in State-Space Layers for Deep Reinforcement Learning under Partial Observability [59.758009422067]
  線形状態空間モデルにおいて閉形式ガウス推論を行う独立なカルマンフィルタ層を提案する。 効率的な線形リカレント層と同様に、Kalmanフィルタ層は並列スキャンを使用してシーケンシャルデータを処理している。 実験により、不確実性推論が意思決定の鍵となる問題においてカルマンフィルタ層が優れており、他のステートフルモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-25T11:22:29Z)
• Monotonicity and Double Descent in Uncertainty Estimation with Gaussian Processes [52.92110730286403]
  限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。 我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。 また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
  論文  参考訳（メタデータ） (2022-10-14T08:09:33Z)
• Second-order regression models exhibit progressive sharpening to the edge of stability [30.92413051155244]
  2次元の二次目標に対して、2階回帰モデルでは、安定性の端とわずかに異なる値に対して進行的なシャープ化を示すことを示す。 より高次元では、モデルはニューラルネットワークの特定の構造がなくても、概して同様の振る舞いを示す。
  論文  参考訳（メタデータ） (2022-10-10T17:21:20Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。