論文の概要: Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems

• arxiv url: http://arxiv.org/abs/2410.16546v2
• Date: Fri, 31 Oct 2025 01:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 19:57:09.674735
• Title: Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems
• Title（参考訳）: インシデント状態推定器としてのトランスフォーマー--動的システムにおけるインコンテキスト学習
• Authors: Usman Akram, Haris Vikalo,
• Abstract要約: 変換器は隠れた状態を暗黙的に推論して、幅広い力学系の出力を予測することができることを示す。 インコンテキスト学習は動的システムにおける出力予測に柔軟で非パラメトリックな代替手段を提供することを示している。
• 参考スコア（独自算出の注目度）: 18.634960596074027
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting the behavior of a dynamical system from noisy observations of its past outputs is a classical problem encountered across engineering and science. For linear systems with Gaussian inputs, the Kalman filter -- the best linear minimum mean-square error estimator of the state trajectory -- is optimal in the Bayesian sense. For nonlinear systems, Bayesian filtering is typically approached using suboptimal heuristics such as the Extended Kalman Filter (EKF), or numerical methods such as particle filtering (PF). In this work, we show that transformers, employed in an in-context learning (ICL) setting, can implicitly infer hidden states in order to predict the outputs of a wide family of dynamical systems, without test-time gradient updates or explicit knowledge of the system model. Specifically, when provided with a short context of past input-output pairs and, optionally, system parameters, a frozen transformer accurately predicts the current output. In linear-Gaussian regimes, its predictions closely match those of the Kalman filter; in nonlinear regimes, its performance approaches that of EKF and PF. Moreover, prediction accuracy degrades gracefully when key parameters, such as the state-transition matrix, are withheld from the context, demonstrating robustness and implicit parameter inference. These findings suggest that transformer in-context learning provides a flexible, non-parametric alternative for output prediction in dynamical systems, grounded in implicit latent-state estimation.
• Abstract（参考訳）: 過去の出力のノイズの多い観測から力学系の振舞いを予測することは、工学と科学にまたがる古典的な問題である。 ガウス的入力を持つ線形系では、状態軌跡の最良の線形平均二乗誤差推定器であるカルマンフィルタはベイズ的意味で最適である。 非線形系では、ベイズフィルタは通常、拡張カルマンフィルタ (EKF) や粒子フィルタリング (PF) のような数値法のような準最適ヒューリスティックを用いてアプローチされる。 本研究では,テスト時間勾配の更新やシステムモデルの明示的な知識を必要とせず,隠れた状態を暗黙的に推論することで,幅広い動的システムの出力を予測できることを示す。 具体的には、過去の入出力ペアとオプションでシステムパラメータの短いコンテキストを備えると、凍結変圧器が電流出力を正確に予測する。 線型ガウス系では、その予測はカルマンフィルタと密接に一致し、非線形系では、その性能は EKF や PF に近づいた。 さらに、状態遷移行列のようなキーパラメータがコンテキストから守られず、頑健さと暗黙のパラメータ推論を示す場合、予測精度は優雅に低下する。 これらの結果から, 動的システムの出力予測には, 暗黙の潜在状態推定に基づくフレキシブルで非パラメトリックな代替手段が提供されることが示唆された。

関連論文リスト

• Robust Unscented Kalman Filtering via Recurrent Meta-Adaptation of Sigma-Point Weights [0.0]
  メタ適応UKF(英: Meta-Adaptive UKF、MA-UKF)は、超パラメータ最適化問題としてシグマ点重みを再構成するフレームワークである。 即時補正に依存する標準適応フィルタとは異なり、我々の手法は測定イノベーションの歴史をコンパクトな潜伏埋め込みに圧縮するためにリカレントコンテキストを用いる。 機動目標に関する数値ベンチマークは、MA-UKFが標準ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-04T18:27:59Z)
• Conditional Normalizing Flows for Forward and Backward Joint State and Parameter Estimation [0.0]
  本研究は非線形フィルタリングによる状態推定の正規化に関する最近のアプローチをレビューする。 本研究は、自律運転と患者集団動態に関する応用におけるこれらのアプローチの性能について考察する。 最後に,実世界の新型コロナウイルス(COVID-19)共同SIRシステムの予測と推定に応用するための様々な条件付け手法の性能を評価する。
  論文  参考訳（メタデータ） (2026-01-11T18:01:42Z)
• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Assumed Density Filtering and Smoothing with Neural Network Surrogate Models [0.0]
  フィルタとスムーサの精度を評価するため,クロスエントロピーはRMSEよりも適切な性能指標であることを示す。 Lorenz システムと Wiener システムにおける状態推定手法の優位性を実証し,フィードバックに状態推定を用いた場合,より最適な線形制御が可能であることが確認された。
  論文  参考訳（メタデータ） (2025-11-12T06:08:53Z)
• Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
  本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。 具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。 ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
  論文  参考訳（メタデータ） (2025-03-24T03:19:45Z)
• Flow-based Bayesian filtering for high-dimensional nonlinear stochastic dynamical systems [4.382988524355736]
  正規化フローを統合したフローベースベイズフィルタ(FBF)を提案する。 このフレームワークは、フローの正規化によって提供される可逆変換を用いて、効率的な密度推定とサンプリングを容易にする。 数値実験によりFBFの精度と効率が向上した。
  論文  参考訳（メタデータ） (2025-02-22T14:04:23Z)
• (How) Can Transformers Predict Pseudo-Random Numbers? [7.201095605457193]
  線形合同生成器(LCG)から擬似ランダム数列を学習するトランスフォーマーの能力について検討する。 我々の分析によれば、トランスフォーマーは無意味なmoduli(m$)とパラメータ(a,c$)でLCGシーケンスのコンテキスト内予測を行うことができる。
  論文  参考訳（メタデータ） (2025-02-14T18:59:40Z)
• Exact Sequence Classification with Hardmax Transformers [0.0]
  我々は、ハードマックスのアテンショントランスフォーマーが$N$ラベル付きシーケンスのデータセットを$mathbbRd$, $dgeq 2$で完全に分類することを証明している。 具体的には、$mathbbRd$で任意の長さの$N$シーケンスを与えられた場合、$mathcalO(N)$ブロックと$mathcalO(Nd)$パラメータで変換器を構築し、このデータセットを完全に分類する。
  論文  参考訳（メタデータ） (2025-02-04T12:31:00Z)
• Provable In-context Learning for Mixture of Linear Regressions using Transformers [34.458004744956334]
  線形回帰モデルの学習混合物の文脈における変換器の文脈内学習能力について理論的に検討する。 2つの混合の場合、高いSNR系では$mathcaltildeO((d/n)1/4)$、低信号-雑音比(SNR)系では$mathcaltildeO(sqrtd/n)$の順序で、オラクル予測子に対して精度の高い変換器が存在することを示す。
  論文  参考訳（メタデータ） (2024-10-18T05:28:47Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Higher-Order Transformer Derivative Estimates for Explicit Pathwise Learning Guarantees [9.305677878388664]
  本稿では, 変圧器モデルに対するすべての順序の高階微分を正確に推定することにより, 文献のギャップを埋める。 我々は,注目ヘッド数,各変圧器ブロックの深さと幅,正規化層数の観点から,すべての定数の完全明示的な推定値を得る。 実世界のトランスフォーマーは、1つのマルコフ過程の軌道のサンプルから$O(operatornamepolylog(N/sqrtN)$で学習することができる。
  論文  参考訳（メタデータ） (2024-05-26T13:19:32Z)
• How Do Transformers "Do" Physics? Investigating the Simple Harmonic Oscillator [15.01642959193149]
  物理学における最も基本的なシステムの一つである単純高調波発振器(SHO)について検討する。 我々は変換器がSHOをモデル化するために使用する手法を特定し、それらの手法の中間体の符号化を解析することにより、可能な手法を仮説化し評価する。 解析フレームワークは高次元線形系や非線形系に便利に拡張でき、変換器に隠された「世界モデル」を明らかにするのに役立ちたい。
  論文  参考訳（メタデータ） (2024-05-23T01:14:22Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• p-Laplacian Transformer [7.2541371193810384]
  グラフと画像信号処理をルーツとする$p$-Laplacian正規化は、これらのデータに対する正規化効果を制御するパラメータ$p$を導入している。 まず、自己注意機構が最小のラプラシアン正規化を得ることを示す。 次に、新しい変圧器のクラス、すなわち$p$-Laplacian Transformer (p-LaT)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:25:56Z)
• From Spectral Theorem to Statistical Independence with Application to System Identification [11.98319841778396]
  状態遷移行列 $|Ak|$ の有限パワーの崩壊率に関する最初の定量的ハンドルを提供する。 安定な力学系が 1 つの異なる固有値と差分しか持たないとき、$n-1$:$|A|$ は $n$ に依存することが示されている。 要素的誤差は、本質的にはよく知られたリトルウッド・オフォード問題の変種であることを示す。
  論文  参考訳（メタデータ） (2023-10-16T15:40:43Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• System Identification for Continuous-time Linear Dynamical Systems [0.7510165488300368]
  潜在線形力学系の連続時間への学習の一般化は、ハイブリッドカルマンフィルタの使用を拡大する可能性がある。 トグルスイッチ型遺伝回路を表す潜伏多変量Fokker-Planck SDEのパラメータを学習し,本手法を適用した。
  論文  参考訳（メタデータ） (2023-08-23T05:53:13Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Sampled Transformer for Point Sets [80.66097006145999]
  スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。 我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
  論文  参考訳（メタデータ） (2023-02-28T06:38:05Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。