論文の概要: Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems
- arxiv url: http://arxiv.org/abs/2410.16546v2
- Date: Fri, 31 Oct 2025 01:48:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-03 19:57:09.674735
- Title: Transformers as Implicit State Estimators: In-Context Learning in Dynamical Systems
- Title（参考訳）: インシデント状態推定器としてのトランスフォーマー--動的システムにおけるインコンテキスト学習
- Authors: Usman Akram, Haris Vikalo,
- Abstract要約: 変換器は隠れた状態を暗黙的に推論して、幅広い力学系の出力を予測することができることを示す。
インコンテキスト学習は動的システムにおける出力予測に柔軟で非パラメトリックな代替手段を提供することを示している。
- 参考スコア（独自算出の注目度）: 18.634960596074027
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting the behavior of a dynamical system from noisy observations of its past outputs is a classical problem encountered across engineering and science. For linear systems with Gaussian inputs, the Kalman filter -- the best linear minimum mean-square error estimator of the state trajectory -- is optimal in the Bayesian sense. For nonlinear systems, Bayesian filtering is typically approached using suboptimal heuristics such as the Extended Kalman Filter (EKF), or numerical methods such as particle filtering (PF). In this work, we show that transformers, employed in an in-context learning (ICL) setting, can implicitly infer hidden states in order to predict the outputs of a wide family of dynamical systems, without test-time gradient updates or explicit knowledge of the system model. Specifically, when provided with a short context of past input-output pairs and, optionally, system parameters, a frozen transformer accurately predicts the current output. In linear-Gaussian regimes, its predictions closely match those of the Kalman filter; in nonlinear regimes, its performance approaches that of EKF and PF. Moreover, prediction accuracy degrades gracefully when key parameters, such as the state-transition matrix, are withheld from the context, demonstrating robustness and implicit parameter inference. These findings suggest that transformer in-context learning provides a flexible, non-parametric alternative for output prediction in dynamical systems, grounded in implicit latent-state estimation.
- Abstract（参考訳）: 過去の出力のノイズの多い観測から力学系の振舞いを予測することは、工学と科学にまたがる古典的な問題である。
ガウス的入力を持つ線形系では、状態軌跡の最良の線形平均二乗誤差推定器であるカルマンフィルタはベイズ的意味で最適である。
非線形系では、ベイズフィルタは通常、拡張カルマンフィルタ (EKF) や粒子フィルタリング (PF) のような数値法のような準最適ヒューリスティックを用いてアプローチされる。
本研究では,テスト時間勾配の更新やシステムモデルの明示的な知識を必要とせず,隠れた状態を暗黙的に推論することで,幅広い動的システムの出力を予測できることを示す。
具体的には、過去の入出力ペアとオプションでシステムパラメータの短いコンテキストを備えると、凍結変圧器が電流出力を正確に予測する。
線型ガウス系では、その予測はカルマンフィルタと密接に一致し、非線形系では、その性能は EKF や PF に近づいた。
さらに、状態遷移行列のようなキーパラメータがコンテキストから守られず、頑健さと暗黙のパラメータ推論を示す場合、予測精度は優雅に低下する。
これらの結果から, 動的システムの出力予測には, 暗黙の潜在状態推定に基づくフレキシブルで非パラメトリックな代替手段が提供されることが示唆された。
関連論文リスト
- (How) Can Transformers Predict Pseudo-Random Numbers? [7.201095605457193]
線形合同生成器(LCG)から擬似ランダム数列を学習するトランスフォーマーの能力について検討する。
我々の分析によれば、トランスフォーマーは無意味なmoduli(m$)とパラメータ(a,c$)でLCGシーケンスのコンテキスト内予測を行うことができる。
論文 参考訳（メタデータ） (2025-02-14T18:59:40Z) - Exact Sequence Classification with Hardmax Transformers [0.0]
我々は、ハードマックスのアテンショントランスフォーマーが$N$ラベル付きシーケンスのデータセットを$mathbbRd$, $dgeq 2$で完全に分類することを証明している。
具体的には、$mathbbRd$で任意の長さの$N$シーケンスを与えられた場合、$mathcalO(N)$ブロックと$mathcalO(Nd)$パラメータで変換器を構築し、このデータセットを完全に分類する。
論文 参考訳（メタデータ） (2025-02-04T12:31:00Z) - Provable In-context Learning for Mixture of Linear Regressions using Transformers [34.458004744956334]
線形回帰モデルの学習混合物の文脈における変換器の文脈内学習能力について理論的に検討する。
2つの混合の場合、高いSNR系では$mathcaltildeO((d/n)1/4)$、低信号-雑音比(SNR)系では$mathcaltildeO(sqrtd/n)$の順序で、オラクル予測子に対して精度の高い変換器が存在することを示す。
論文 参考訳（メタデータ） (2024-10-18T05:28:47Z) - Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。
例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
論文 参考訳（メタデータ） (2024-10-03T21:21:02Z) - Higher-Order Transformer Derivative Estimates for Explicit Pathwise Learning Guarantees [9.305677878388664]
本稿では, 変圧器モデルに対するすべての順序の高階微分を正確に推定することにより, 文献のギャップを埋める。
我々は,注目ヘッド数,各変圧器ブロックの深さと幅,正規化層数の観点から,すべての定数の完全明示的な推定値を得る。
実世界のトランスフォーマーは、1つのマルコフ過程の軌道のサンプルから$O(operatornamepolylog(N/sqrtN)$で学習することができる。
論文 参考訳（メタデータ） (2024-05-26T13:19:32Z) - How Do Transformers "Do" Physics? Investigating the Simple Harmonic Oscillator [15.01642959193149]
物理学における最も基本的なシステムの一つである単純高調波発振器(SHO)について検討する。
我々は変換器がSHOをモデル化するために使用する手法を特定し、それらの手法の中間体の符号化を解析することにより、可能な手法を仮説化し評価する。
解析フレームワークは高次元線形系や非線形系に便利に拡張でき、変換器に隠された「世界モデル」を明らかにするのに役立ちたい。
論文 参考訳（メタデータ） (2024-05-23T01:14:22Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳（メタデータ） (2024-02-15T08:51:49Z) - How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。
トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
論文 参考訳（メタデータ） (2024-02-08T16:24:44Z) - p-Laplacian Transformer [7.2541371193810384]
グラフと画像信号処理をルーツとする$p$-Laplacian正規化は、これらのデータに対する正規化効果を制御するパラメータ$p$を導入している。
まず、自己注意機構が最小のラプラシアン正規化を得ることを示す。
次に、新しい変圧器のクラス、すなわち$p$-Laplacian Transformer (p-LaT)を提案する。
論文 参考訳（メタデータ） (2023-11-06T16:25:56Z) - From Spectral Theorem to Statistical Independence with Application to
System Identification [11.98319841778396]
状態遷移行列 $|Ak|$ の有限パワーの崩壊率に関する最初の定量的ハンドルを提供する。
安定な力学系が 1 つの異なる固有値と差分しか持たないとき、$n-1$:$|A|$ は $n$ に依存することが示されている。
要素的誤差は、本質的にはよく知られたリトルウッド・オフォード問題の変種であることを示す。
論文 参考訳（メタデータ） (2023-10-16T15:40:43Z) - Transformers as Support Vector Machines [54.642793677472724]
自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。
勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。
これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
論文 参考訳（メタデータ） (2023-08-31T17:57:50Z) - Sampled Transformer for Point Sets [80.66097006145999]
スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。
我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
論文 参考訳（メタデータ） (2023-02-28T06:38:05Z) - A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian
Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。
この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
論文 参考訳（メタデータ） (2020-06-09T02:05:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。