論文の概要: Can Transformers In-Context Learn Behavior of a Linear Dynamical System?

• arxiv url: http://arxiv.org/abs/2410.16546v1
• Date: Mon, 21 Oct 2024 22:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:38.800724
• Title: Can Transformers In-Context Learn Behavior of a Linear Dynamical System?
• Title（参考訳）: 変圧器は線形力学系の文脈学習挙動を学習できるか?
• Authors: Usman Akram, Haris Vikalo,
• Abstract要約: 本研究では,関連するプロセスとそれに関連するパラメータがコンテキストとして与えられたとき,トランスフォーマーがランダムなプロセスを追跡することを学べるかどうかを検討する。 変圧器の頑健性に関するさらなる研究により、モデルパラメータが部分的に保持されていない場合でも、その性能が維持されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 13.331659934508764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether transformers can learn to track a random process when given observations of a related process and parameters of the dynamical system that relates them as context. More specifically, we consider a finite-dimensional state-space model described by the state transition matrix $F$, measurement matrices $h_1, \dots, h_N$, and the process and measurement noise covariance matrices $Q$ and $R$, respectively; these parameters, randomly sampled, are provided to the transformer along with the observations $y_1,\dots,y_N$ generated by the corresponding linear dynamical system. We argue that in such settings transformers learn to approximate the celebrated Kalman filter, and empirically verify this both for the task of estimating hidden states $\hat{x}_{N|1,2,3,...,N}$ as well as for one-step prediction of the $(N+1)^{st}$ observation, $\hat{y}_{N+1|1,2,3,...,N}$. A further study of the transformer's robustness reveals that its performance is retained even if the model's parameters are partially withheld. In particular, we demonstrate that the transformer remains accurate at the considered task even in the absence of state transition and noise covariance matrices, effectively emulating operations of the Dual-Kalman filter.
• Abstract（参考訳）: 本研究では,関連するプロセスの観測結果と,それに関連する動的システムのパラメータをコンテキストとして,トランスフォーマーがランダムなプロセスの追跡を学べるかどうかを検討する。 より具体的には、状態遷移行列$F$、測定行列$h_1, \dots, h_N$、および処理および測定ノイズ共分散行列$Q$および$R$により記述された有限次元状態空間モデルを考える。 このような設定変換器はカルマンフィルタの近似を学習し、隠れた状態 $\hat{x}_{N|1,2,3,...,N}$ と $(N+1)^{st}$ の1段階予測、$\hat{y}_{N+1|1,2,3,...,N}$ の両方を経験的に検証する。 変圧器の頑健性に関するさらなる研究により、モデルパラメータが部分的に保持されていない場合でも、その性能が維持されていることが明らかとなった。 特に、状態遷移やノイズ共分散行列がない場合であっても、この変換器は検討されたタスクにおいて正確であり、Dual-Kalmanフィルタの動作を効果的にエミュレートすることを示した。

関連論文リスト

• Robust Unscented Kalman Filtering via Recurrent Meta-Adaptation of Sigma-Point Weights [0.0]
  メタ適応UKF(英: Meta-Adaptive UKF、MA-UKF)は、超パラメータ最適化問題としてシグマ点重みを再構成するフレームワークである。 即時補正に依存する標準適応フィルタとは異なり、我々の手法は測定イノベーションの歴史をコンパクトな潜伏埋め込みに圧縮するためにリカレントコンテキストを用いる。 機動目標に関する数値ベンチマークは、MA-UKFが標準ベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2026-03-04T18:27:59Z)
• Conditional Normalizing Flows for Forward and Backward Joint State and Parameter Estimation [0.0]
  本研究は非線形フィルタリングによる状態推定の正規化に関する最近のアプローチをレビューする。 本研究は、自律運転と患者集団動態に関する応用におけるこれらのアプローチの性能について考察する。 最後に,実世界の新型コロナウイルス(COVID-19)共同SIRシステムの予測と推定に応用するための様々な条件付け手法の性能を評価する。
  論文  参考訳（メタデータ） (2026-01-11T18:01:42Z)
• Disordered Dynamics in High Dimensions: Connections to Random Matrices and Machine Learning [52.26396748560348]
  ランダム行列によって駆動される高次元力学系について概説する。 機械学習理論における学習と一般化の単純なモデルへの応用に焦点を当てる。
  論文  参考訳（メタデータ） (2026-01-03T00:12:32Z)
• Assumed Density Filtering and Smoothing with Neural Network Surrogate Models [0.0]
  フィルタとスムーサの精度を評価するため,クロスエントロピーはRMSEよりも適切な性能指標であることを示す。 Lorenz システムと Wiener システムにおける状態推定手法の優位性を実証し,フィードバックに状態推定を用いた場合,より最適な線形制御が可能であることが確認された。
  論文  参考訳（メタデータ） (2025-11-12T06:08:53Z)
• Efficient Transformed Gaussian Process State-Space Models for Non-Stationary High-Dimensional Dynamical Systems [49.819436680336786]
  本研究では,高次元非定常力学系のスケーラブルかつ柔軟なモデリングのための効率的な変換ガウス過程状態空間モデル(ETGPSSM)を提案する。 具体的には、ETGPSSMは、単一の共有GPと入力依存の正規化フローを統合し、複雑な非定常遷移ダイナミクスを捉える前に、表現的な暗黙のプロセスを生成する。 ETGPSSMは、計算効率と精度の観点から、既存のGPSSMとニューラルネットワークベースのSSMより優れています。
  論文  参考訳（メタデータ） (2025-03-24T03:19:45Z)
• Flow-based Bayesian filtering for high-dimensional nonlinear stochastic dynamical systems [4.382988524355736]
  正規化フローを統合したフローベースベイズフィルタ(FBF)を提案する。 このフレームワークは、フローの正規化によって提供される可逆変換を用いて、効率的な密度推定とサンプリングを容易にする。 数値実験によりFBFの精度と効率が向上した。
  論文  参考訳（メタデータ） (2025-02-22T14:04:23Z)
• (How) Can Transformers Predict Pseudo-Random Numbers? [7.201095605457193]
  線形合同生成器(LCG)から擬似ランダム数列を学習するトランスフォーマーの能力について検討する。 我々の分析によれば、トランスフォーマーは無意味なmoduli(m$)とパラメータ(a,c$)でLCGシーケンスのコンテキスト内予測を行うことができる。
  論文  参考訳（メタデータ） (2025-02-14T18:59:40Z)
• Exact Sequence Classification with Hardmax Transformers [0.0]
  我々は、ハードマックスのアテンショントランスフォーマーが$N$ラベル付きシーケンスのデータセットを$mathbbRd$, $dgeq 2$で完全に分類することを証明している。 具体的には、$mathbbRd$で任意の長さの$N$シーケンスを与えられた場合、$mathcalO(N)$ブロックと$mathcalO(Nd)$パラメータで変換器を構築し、このデータセットを完全に分類する。
  論文  参考訳（メタデータ） (2025-02-04T12:31:00Z)
• Provable In-context Learning for Mixture of Linear Regressions using Transformers [34.458004744956334]
  線形回帰モデルの学習混合物の文脈における変換器の文脈内学習能力について理論的に検討する。 2つの混合の場合、高いSNR系では$mathcaltildeO((d/n)1/4)$、低信号-雑音比(SNR)系では$mathcaltildeO(sqrtd/n)$の順序で、オラクル予測子に対して精度の高い変換器が存在することを示す。
  論文  参考訳（メタデータ） (2024-10-18T05:28:47Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• Higher-Order Transformer Derivative Estimates for Explicit Pathwise Learning Guarantees [9.305677878388664]
  本稿では, 変圧器モデルに対するすべての順序の高階微分を正確に推定することにより, 文献のギャップを埋める。 我々は,注目ヘッド数,各変圧器ブロックの深さと幅,正規化層数の観点から,すべての定数の完全明示的な推定値を得る。 実世界のトランスフォーマーは、1つのマルコフ過程の軌道のサンプルから$O(operatornamepolylog(N/sqrtN)$で学習することができる。
  論文  参考訳（メタデータ） (2024-05-26T13:19:32Z)
• How Do Transformers "Do" Physics? Investigating the Simple Harmonic Oscillator [15.01642959193149]
  物理学における最も基本的なシステムの一つである単純高調波発振器(SHO)について検討する。 我々は変換器がSHOをモデル化するために使用する手法を特定し、それらの手法の中間体の符号化を解析することにより、可能な手法を仮説化し評価する。 解析フレームワークは高次元線形系や非線形系に便利に拡張でき、変換器に隠された「世界モデル」を明らかにするのに役立ちたい。
  論文  参考訳（メタデータ） (2024-05-23T01:14:22Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• p-Laplacian Transformer [7.2541371193810384]
  グラフと画像信号処理をルーツとする$p$-Laplacian正規化は、これらのデータに対する正規化効果を制御するパラメータ$p$を導入している。 まず、自己注意機構が最小のラプラシアン正規化を得ることを示す。 次に、新しい変圧器のクラス、すなわち$p$-Laplacian Transformer (p-LaT)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:25:56Z)
• From Spectral Theorem to Statistical Independence with Application to System Identification [11.98319841778396]
  状態遷移行列 $|Ak|$ の有限パワーの崩壊率に関する最初の定量的ハンドルを提供する。 安定な力学系が 1 つの異なる固有値と差分しか持たないとき、$n-1$:$|A|$ は $n$ に依存することが示されている。 要素的誤差は、本質的にはよく知られたリトルウッド・オフォード問題の変種であることを示す。
  論文  参考訳（メタデータ） (2023-10-16T15:40:43Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• System Identification for Continuous-time Linear Dynamical Systems [0.7510165488300368]
  潜在線形力学系の連続時間への学習の一般化は、ハイブリッドカルマンフィルタの使用を拡大する可能性がある。 トグルスイッチ型遺伝回路を表す潜伏多変量Fokker-Planck SDEのパラメータを学習し,本手法を適用した。
  論文  参考訳（メタデータ） (2023-08-23T05:53:13Z)
• Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
  オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。 本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。 多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
  論文  参考訳（メタデータ） (2023-06-14T11:41:42Z)
• Sampled Transformer for Point Sets [80.66097006145999]
  スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。 我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
  論文  参考訳（メタデータ） (2023-02-28T06:38:05Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。