論文の概要: Can Transformers In-Context Learn Behavior of a Linear Dynamical System?

• arxiv url: http://arxiv.org/abs/2410.16546v1
• Date: Mon, 21 Oct 2024 22:18:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:27:01.934860
• Title: Can Transformers In-Context Learn Behavior of a Linear Dynamical System?
• Title（参考訳）: 変圧器は線形力学系の文脈学習挙動を学習できるか?
• Authors: Usman Akram, Haris Vikalo,
• Abstract要約: 本研究では,関連するプロセスとそれに関連するパラメータがコンテキストとして与えられたとき,トランスフォーマーがランダムなプロセスを追跡することを学べるかどうかを検討する。 変圧器の頑健性に関するさらなる研究により、モデルパラメータが部分的に保持されていない場合でも、その性能が維持されていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 13.331659934508764
• License:
• Abstract: We investigate whether transformers can learn to track a random process when given observations of a related process and parameters of the dynamical system that relates them as context. More specifically, we consider a finite-dimensional state-space model described by the state transition matrix $F$, measurement matrices $h_1, \dots, h_N$, and the process and measurement noise covariance matrices $Q$ and $R$, respectively; these parameters, randomly sampled, are provided to the transformer along with the observations $y_1,\dots,y_N$ generated by the corresponding linear dynamical system. We argue that in such settings transformers learn to approximate the celebrated Kalman filter, and empirically verify this both for the task of estimating hidden states $\hat{x}_{N|1,2,3,...,N}$ as well as for one-step prediction of the $(N+1)^{st}$ observation, $\hat{y}_{N+1|1,2,3,...,N}$. A further study of the transformer's robustness reveals that its performance is retained even if the model's parameters are partially withheld. In particular, we demonstrate that the transformer remains accurate at the considered task even in the absence of state transition and noise covariance matrices, effectively emulating operations of the Dual-Kalman filter.
• Abstract（参考訳）: 本研究では,関連するプロセスの観測結果と,それに関連する動的システムのパラメータをコンテキストとして,トランスフォーマーがランダムなプロセスの追跡を学べるかどうかを検討する。 より具体的には、状態遷移行列$F$、測定行列$h_1, \dots, h_N$、および処理および測定ノイズ共分散行列$Q$および$R$により記述された有限次元状態空間モデルを考える。 このような設定変換器はカルマンフィルタの近似を学習し、隠れた状態 $\hat{x}_{N|1,2,3,...,N}$ と $(N+1)^{st}$ の1段階予測、$\hat{y}_{N+1|1,2,3,...,N}$ の両方を経験的に検証する。 変圧器の頑健性に関するさらなる研究により、モデルパラメータが部分的に保持されていない場合でも、その性能が維持されていることが明らかとなった。 特に、状態遷移やノイズ共分散行列がない場合であっても、この変換器は検討されたタスクにおいて正確であり、Dual-Kalmanフィルタの動作を効果的にエミュレートすることを示した。

関連論文リスト

• Provable In-context Learning for Mixture of Linear Regressions using Transformers [34.458004744956334]
  線形回帰モデルの学習混合物の文脈における変換器の文脈内学習能力について理論的に検討する。 2つの混合の場合、高いSNR系では$mathcaltildeO((d/n)1/4)$、低信号-雑音比(SNR)系では$mathcaltildeO(sqrtd/n)$の順序で、オラクル予測子に対して精度の高い変換器が存在することを示す。
  論文  参考訳（メタデータ） (2024-10-18T05:28:47Z)
• Can Transformers Learn $n$-gram Language Models? [77.35809823602307]
  2種類のランダムな$n$-gram LMを学習するトランスフォーマーの能力について検討する。 例えば、$n$-gram LMに対する古典的な推定手法として、add-$lambda$ smoothing outperform transformerがある。
  論文  参考訳（メタデータ） (2024-10-03T21:21:02Z)
• How Do Transformers "Do" Physics? Investigating the Simple Harmonic Oscillator [15.01642959193149]
  物理学における最も基本的なシステムの一つである単純高調波発振器(SHO)について検討する。 我々は変換器がSHOをモデル化するために使用する手法を特定し、それらの手法の中間体の符号化を解析することにより、可能な手法を仮説化し評価する。 解析フレームワークは高次元線形系や非線形系に便利に拡張でき、変換器に隠された「世界モデル」を明らかにするのに役立ちたい。
  論文  参考訳（メタデータ） (2024-05-23T01:14:22Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• How do Transformers perform In-Context Autoregressive Learning? [76.18489638049545]
  簡単な次のトークン予測タスクでTransformerモデルをトレーニングする。 トレーニングされたTransformerが、まず$W$ in-contextを学習し、次に予測マッピングを適用することで、次のトークンを予測する方法を示す。
  論文  参考訳（メタデータ） (2024-02-08T16:24:44Z)
• p-Laplacian Transformer [7.2541371193810384]
  グラフと画像信号処理をルーツとする$p$-Laplacian正規化は、これらのデータに対する正規化効果を制御するパラメータ$p$を導入している。 まず、自己注意機構が最小のラプラシアン正規化を得ることを示す。 次に、新しい変圧器のクラス、すなわち$p$-Laplacian Transformer (p-LaT)を提案する。
  論文  参考訳（メタデータ） (2023-11-06T16:25:56Z)
• From Spectral Theorem to Statistical Independence with Application to System Identification [11.98319841778396]
  状態遷移行列 $|Ak|$ の有限パワーの崩壊率に関する最初の定量的ハンドルを提供する。 安定な力学系が 1 つの異なる固有値と差分しか持たないとき、$n-1$:$|A|$ は $n$ に依存することが示されている。 要素的誤差は、本質的にはよく知られたリトルウッド・オフォード問題の変種であることを示す。
  論文  参考訳（メタデータ） (2023-10-16T15:40:43Z)
• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Sampled Transformer for Point Sets [80.66097006145999]
  スパース変換器は、連続列列列関数の普遍近似器でありながら、自己アテンション層の計算複雑性を$O(n)$に下げることができる。 我々は、追加の帰納バイアスを伴わずに点集合要素を直接処理できる$O(n)$複雑性サンプリング変換器を提案する。
  論文  参考訳（メタデータ） (2023-02-28T06:38:05Z)
• A Random Matrix Analysis of Random Fourier Features: Beyond the Gaussian Kernel, a Precise Phase Transition, and the Corresponding Double Descent [85.77233010209368]
  本稿では、データサンプルの数が$n$である現実的な環境で、ランダムフーリエ(RFF)回帰の正確さを特徴付けます。 この分析はまた、大きな$n,p,N$のトレーニングとテスト回帰エラーの正確な推定も提供する。
  論文  参考訳（メタデータ） (2020-06-09T02:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。