論文の概要: Can Transformers Learn Optimal Filtering for Unknown Systems?
- arxiv url: http://arxiv.org/abs/2308.08536v2
- Date: Sun, 17 Dec 2023 16:18:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-19 20:19:11.550242
- Title: Can Transformers Learn Optimal Filtering for Unknown Systems?
- Title（参考訳）: 変圧器は未知系の最適フィルタリングを学習できるか?
- Authors: Haldun Balim, Zhe Du, Samet Oymak, Necmiye Ozay
- Abstract要約: 過去の全ての出力予測を生成する変換器を用いた最適出力推定問題について検討する。
我々は、様々な異なるシステムを用いてトランスフォーマーを訓練し、未知のダイナミクスを持つ未知のシステムの性能を評価する。
非d.d.ノイズ、時間変化力学、未知のパラメータを持つ四元数系のような非線形力学のより複雑な設定では、トランスフォーマーも有望な結果を示す。
- 参考スコア（独自算出の注目度）: 23.175200281494167
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer models have shown great success in natural language processing;
however, their potential remains mostly unexplored for dynamical systems. In
this work, we investigate the optimal output estimation problem using
transformers, which generate output predictions using all the past ones.
Particularly, we train the transformer using various distinct systems and then
evaluate the performance on unseen systems with unknown dynamics. Empirically,
the trained transformer adapts exceedingly well to different unseen systems and
even matches the optimal performance given by the Kalman filter for linear
systems. In more complex settings with non-i.i.d. noise, time-varying dynamics,
and nonlinear dynamics like a quadrotor system with unknown parameters,
transformers also demonstrate promising results. To support our experimental
findings, we provide statistical guarantees that quantify the amount of
training data required for the transformer to achieve a desired excess risk.
Finally, we point out some limitations by identifying two classes of problems
that lead to degraded performance, highlighting the need for caution when using
transformers for control and estimation.
- Abstract（参考訳）: トランスフォーマーモデルは自然言語処理において大きな成功をおさめてきたが、そのポテンシャルは力学系では未解明のままである。
本研究では,過去の全ての出力予測を生成するトランスを用いた最適出力推定問題について検討する。
特に,様々な異なるシステムを用いて変圧器を訓練し,未知のダイナミクスを持つ未知システムの性能を評価する。
経験的に、訓練された変圧器は異なる未知の系に非常によく適応し、線形系に対してカルマンフィルタが与える最適性能にさえ適合する。
非d.d.ノイズ、時間変化力学、未知のパラメータを持つ四元数系のような非線形力学のより複雑な設定では、トランスフォーマーも有望な結果を示す。
実験結果を支援するため,変圧器に必要なトレーニングデータ量を定量化し,所望の余剰リスクを達成する統計的保証を提供する。
最後に,性能低下につながる2つの問題のクラスを特定し,制御と推定にトランスフォーマーを使用する場合の注意点を強調した。
関連論文リスト
- Reconstructing dynamics from sparse observations with no training on target system [0.0]
提案するハイブリッド機械学習フレームワークのパワーは,多くの原型非線形力学系を用いて実証された。
このフレームワークは、トレーニングデータが存在しない極端な状況において、複雑で非線形なダイナミクスを再構築するパラダイムを提供する。
論文 参考訳（メタデータ） (2024-10-28T17:05:04Z) - Unveil Benign Overfitting for Transformer in Vision: Training Dynamics, Convergence, and Generalization [88.5582111768376]
本研究では, ソフトマックスを用いた自己保持層と, 勾配勾配下での完全連結層からなるトランスフォーマーの最適化について検討した。
この結果から,データモデルにおける信号対雑音比に基づいて,小さなテストエラー位相と大規模なテストエラー状態とを区別できるシャープ条件を確立した。
論文 参考訳（メタデータ） (2024-09-28T13:24:11Z) - Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。
我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。
適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
論文 参考訳（メタデータ） (2024-06-24T23:00:58Z) - How Do Nonlinear Transformers Learn and Generalize in In-Context Learning? [82.51626700527837]
トランスフォーマーベースの大規模言語モデルでは、トレーニング済みのモデルが微調整なしで新しいタスクを処理できるような、コンテキスト内学習機能が印象的だった。
我々は、TransformerがICLを実現する方法の仕組みが、Transformerにおけるトレーニング問題の技術的課題にどのように貢献するかを分析する。
論文 参考訳（メタデータ） (2024-02-23T21:07:20Z) - Linear Transformers are Versatile In-Context Learners [19.988368693379087]
線形変圧器の各層が負の線形回帰問題に対する重みベクトルを維持していることを示す。
また、異なるレベルのノイズでトレーニングデータが破損する難易度シナリオにおける線形変圧器の使用についても検討する。
ここでは,線形変圧器が複雑かつ高効率な最適化アルゴリズムを発見することを実証する。
論文 参考訳（メタデータ） (2024-02-21T23:45:57Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Momentum Transformer: Closing the Performance Gap Between Self-attention
and Its Linearization [31.28396970291575]
効率の良い変圧器は、変圧器の二次的な複雑さを減らすために提案されているが、精度は著しく低下している。
まず、勾配降下ステップとして注目マップの計算における線形注意と残差接続を解釈する。
次に、これらの成分に運動量を導入し、線形メモリと計算複雑性を維持しつつ、線形変圧器の精度を向上させるために運動量を利用するエンファンモーメント変換器を提案する。
論文 参考訳（メタデータ） (2022-08-01T02:37:49Z) - Gophormer: Ego-Graph Transformer for Node Classification [27.491500255498845]
本稿では,egoグラフにフルグラフの代わりにトランスフォーマーを適用した新しいGophormerモデルを提案する。
具体的には、変圧器の入力としてエゴグラフをサンプリングするためにNode2Seqモジュールが提案されており、スケーラビリティの課題が軽減されている。
エゴグラフサンプリングで導入された不確実性に対処するために,一貫性の正則化とマルチサンプル推論戦略を提案する。
論文 参考訳（メタデータ） (2021-10-25T16:43:32Z) - Redesigning the Transformer Architecture with Insights from
Multi-particle Dynamical Systems [32.86421107987556]
我々は,従来の微分方程式の数値解法として,ディープニューラルネットワークを解析する最近の発展の上に構築する。
時間的進化計画であるTransEvolveを定式化し、複数の積層層にコストのかかるドット積の注意をバイパスする。
我々は、よく知られたエンコーダデコーダとエンコーダのみのタスクでTransEvolveで徹底的な実験を行う。
論文 参考訳（メタデータ） (2021-09-30T14:01:06Z) - Finetuning Pretrained Transformers into RNNs [81.72974646901136]
トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。
線形複雑リカレント変種は自己回帰生成に適していることが証明されている。
この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
論文 参考訳（メタデータ） (2021-03-24T10:50:43Z) - Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。
十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-05-20T17:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。