論文の概要: Can Transformers Learn Optimal Filtering for Unknown Systems?

• arxiv url: http://arxiv.org/abs/2308.08536v1
• Date: Wed, 16 Aug 2023 17:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 12:15:20.477612
• Title: Can Transformers Learn Optimal Filtering for Unknown Systems?
• Title（参考訳）: 変圧器は未知系の最適フィルタリングを学習できるか?
• Authors: Haldun Balim, Zhe Du, Samet Oymak, Necmiye Ozay
• Abstract要約: 過去の全ての出力予測を生成する変換器を用いた最適出力推定問題について検討する。 先行分布から引き出された様々なシステムを用いてトランスを訓練し,その性能を従来見つからなかったシステムで評価する。 その結果、得られたトランスは、文脈内で学習し、異なるシステムに対して迅速に適応し、予測する予測アルゴリズムのように振る舞う。
• 参考スコア（独自算出の注目度）: 23.175200281494167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers have demonstrated remarkable success in natural language processing; however, their potential remains mostly unexplored for problems arising in dynamical systems. In this work, we investigate the optimal output estimation problem using transformers, which generate output predictions using all the past ones. We train the transformer using various systems drawn from a prior distribution and then evaluate its performance on previously unseen systems from the same distribution. As a result, the obtained transformer acts like a prediction algorithm that learns in-context and quickly adapts to and predicts well for different systems - thus we call it meta-output-predictor (MOP). MOP matches the performance of the optimal output estimator, based on Kalman filter, for most linear dynamical systems even though it does not have access to a model. We observe via extensive numerical experiments that MOP also performs well in challenging scenarios with non-i.i.d. noise, time-varying dynamics, and nonlinear dynamics like a quadrotor system with unknown parameters. To further support this observation, in the second part of the paper, we provide statistical guarantees on the performance of MOP and quantify the required amount of training to achieve a desired excess risk during test-time. Finally, we point out some limitations of MOP by identifying two classes of problems MOP fails to perform well, highlighting the need for caution when using transformers for control and estimation.
• Abstract（参考訳）: トランスフォーマーは自然言語処理において顕著な成功を収めてきたが、力学系で発生する問題に対して、そのポテンシャルはほとんど探索されていない。 本研究では,過去の全ての出力予測を生成するトランスを用いた最適出力推定問題について検討する。 先行分布から引き出された各種システムを用いて変圧器を訓練し、それ以前の未確認システムの性能を同一分布から評価する。 その結果、得られた変換器は、文脈内で学習し、異なるシステムに対して迅速に適応し、予測する予測アルゴリズムのように振る舞う。 MOPは、モデルにアクセスできないにもかかわらず、ほとんどの線形力学系に対して、カルマンフィルタに基づく最適出力推定器の性能と一致する。 我々は,mopが非i.i.d.ノイズ,時変ダイナミクス,未知パラメータを持つ二次系のような非線形力学において,挑戦的シナリオにおいても有効であることを広範囲な数値実験を通じて観察する。 さらに,本論文の第2部では,mopの性能を統計的に保証し,必要なトレーニング量を定量化し,テスト期間中に所望の過大リスクを達成する。 最後に、MOPがうまく機能しない2つのクラスを特定することで、MOPのいくつかの制限を指摘し、制御と推定にトランスフォーマーを使用する場合の注意が必要であることを強調した。

関連論文リスト

• OT-Transformer: A Continuous-time Transformer Architecture with Optimal Transport Regularization [1.7180235064112577]
  制御方程式が変圧器ブロックによってパラメータ化される力学系を考える。 最適輸送理論を利用してトレーニング問題を正規化し、トレーニングの安定性を高め、結果として得られるモデルの一般化を改善する。
  論文  参考訳（メタデータ） (2025-01-30T22:52:40Z)
• One-Layer Transformer Provably Learns One-Nearest Neighbor In Context [48.4979348643494]
  本研究では、1層変圧器が1層近傍の規則を学習する能力について検討する。 単一のソフトマックスアテンション層は、ワンアレスト隣人のように振る舞うことをうまく学ぶことができる。
  論文  参考訳（メタデータ） (2024-11-16T16:12:42Z)
• Reconstructing dynamics from sparse observations with no training on target system [0.0]
  提案するハイブリッド機械学習フレームワークのパワーは,多くの原型非線形力学系を用いて実証された。 このフレームワークは、トレーニングデータが存在しない極端な状況において、複雑で非線形なダイナミクスを再構築するパラダイムを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:05:04Z)
• Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
  本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。 この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
  論文  参考訳（メタデータ） (2024-09-28T13:24:11Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Linear Transformers are Versatile In-Context Learners [19.988368693379087]
  線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。 また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。 ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
  論文  参考訳（メタデータ） (2024-02-21T23:45:57Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)
• Redesigning the Transformer Architecture with Insights from Multi-particle Dynamical Systems [32.86421107987556]
  我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。 時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。 我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
  論文  参考訳（メタデータ） (2021-09-30T14:01:06Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。