論文の概要: Can a Transformer Represent a Kalman Filter?

• arxiv url: http://arxiv.org/abs/2312.06937v1
• Date: Tue, 12 Dec 2023 02:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-13 17:34:12.505276
• Title: Can a Transformer Represent a Kalman Filter?
• Title（参考訳）: 変換器はカルマンフィルタを表現できるか?
• Authors: Gautam Goel, Peter Bartlett
• Abstract要約: 変換器はカルマンフィルタを強い意味で近似できることを示す。 具体的には、任意の可観測LTIシステムに対して、カルマンフィルタを実装した明示的な因果行列変換器を構築する。 また、トランスフォーマーフィルタを計測フィードバック制御にどのように使用できるかを検討し、結果の非線形制御器がLQGコントローラのような標準最適制御ポリシーの性能を近似することを証明した。
• 参考スコア（独自算出の注目度）: 0.9790236766474198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformers are a class of autoregressive deep learning architectures which have recently achieved state-of-the-art performance in various vision, language, and robotics tasks. We revisit the problem of Kalman Filtering in linear dynamical systems and show that Transformers can approximate the Kalman Filter in a strong sense. Specifically, for any observable LTI system we construct an explicit causally-masked Transformer which implements the Kalman Filter, up to a small additive error which is bounded uniformly in time; we call our construction the Transformer Filter. Our construction is based on a two-step reduction. We first show that a softmax self-attention block can exactly represent a certain Gaussian kernel smoothing estimator. We then show that this estimator closely approximates the Kalman Filter. We also investigate how the Transformer Filter can be used for measurement-feedback control and prove that the resulting nonlinear controllers closely approximate the performance of standard optimal control policies such as the LQG controller.
• Abstract（参考訳）: Transformersは、さまざまなビジョン、言語、ロボット工学タスクで最先端のパフォーマンスを達成した、自己回帰的なディープラーニングアーキテクチャのクラスである。 線形力学系におけるカルマンフィルタの問題を再検討し、変換器がカルマンフィルタを強い意味で近似できることを示す。 具体的には、任意の観測可能なltiシステムに対して、カルマンフィルタを実装した明示的な因果的変換器を構築し、時間的に一様に境界付けられた小さな加算誤差まで構成する。 我々の建設は2段階の削減に基づいている。 まず,ソフトマックス自着ブロックがガウス核の平滑化推定器を正確に表現できることを示す。 次に、この推定器がカルマンフィルタに近似していることを示す。 また, トランスフィルタを計測・フィードバック制御に利用し, 得られた非線形コントローラがlqgコントローラなどの標準最適制御ポリシの性能に密接に近似していることを証明する。

関連論文リスト

• Graph Transformers Dream of Electric Flow [72.06286909236827]
  グラフデータに適用された線形変換器は、正準問題を解くアルゴリズムを実装可能であることを示す。 そこで我々は,これらのグラフアルゴリズムをそれぞれ実装するための明示的な重み設定を提案し,基礎となるアルゴリズムの誤差によって構築したトランスフォーマーの誤差を限定する。
  論文  参考訳（メタデータ） (2024-10-22T05:11:45Z)
• Can Transformers In-Context Learn Behavior of a Linear Dynamical System? [13.331659934508764]
  本研究では,関連するプロセスとそれに関連するパラメータがコンテキストとして与えられたとき,トランスフォーマーがランダムなプロセスを追跡することを学べるかどうかを検討する。 変圧器の頑健性に関するさらなる研究により、モデルパラメータが部分的に保持されていない場合でも、その性能が維持されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-10-21T22:18:10Z)
• Tensor network square root Kalman filter for online Gaussian process regression [5.482420806459269]
  テンソルネットワークの平方根カルマンフィルタを初めて開発し,それを高次元オンラインガウス過程回帰に適用する。 実験では,本手法がフルランクテンソルネットワークを選択する場合,従来のカルマンフィルタと等価であることを示す。 また,本手法を実生活システム識別問題に適用し,標準ラップトップ上で414ドルのパラメータを推定する。
  論文  参考訳（メタデータ） (2024-09-05T06:38:27Z)
• Streaming quantum gate set tomography using the extended Kalman filter [0.0]
  拡張カルマンフィルタを量子ゲートセットトモグラフィーのデータに適用し,システムエラーモデルと不確実性の両方をストリーミング推定する。 提案手法により,標準ラップトップは1ビットと2ビットの回路結果を処理することができ,ゲートセットエラーモデルを現在の実験実行に匹敵する速度で更新することができる。
  論文  参考訳（メタデータ） (2023-06-26T23:51:08Z)
• Transformers for Multi-Object Tracking on Point Clouds [9.287964414592826]
  TransMOTは、新しいトランスフォーマーベースのトレーニング可能なオンライントラッカーで、ポイントクラウドデータのための検出器である。 このモデルはクロス・アンド・セルフ・アテンション・メカニズムを利用しており、自動車のコンテキストにおけるライダーデータに適用可能である。 提案したモデルは、Kalmanフィルタベースのトラッキングベースラインよりも優れている。
  論文  参考訳（メタデータ） (2022-05-31T12:20:54Z)
• Neural optimal feedback control with local learning rules [67.5926699124528]
  運動制御の大きな問題は、脳がどのように遅延と雑音の刺激に直面して適切な動きを計画し実行するかを理解することである。 本稿では,適応カルマンフィルタとモデル自由制御手法を組み合わせた新しいオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-12T20:02:00Z)
• Neural Augmentation of Kalman Filter with Hypernetwork for Channel Tracking [65.79881335044539]
  動的に異なる複数のアプリケーションを追跡するために,Hypernetwork Kalman Filter (HKF)を提案する。 HKFはカルマンフィルタの一般化パワーとニューラルネットワークの表現力を組み合わせたものである。
  論文  参考訳（メタデータ） (2021-09-26T10:59:24Z)
• Fourier Series Expansion Based Filter Parametrization for Equivariant Convolutions [73.33133942934018]
  2次元フィルタパラメトリゼーション技術は同変畳み込みの設計において重要な役割を果たす。 F-Convというフィルタパラメトリゼーション法に基づく新しい同変畳み込み法 F-Convは、画像超解像タスクにおいて、以前のフィルタパラメトリゼーション法よりも明らかに優れている。
  論文  参考訳（メタデータ） (2021-07-30T10:01:52Z)
• Stable, Fast and Accurate: Kernelized Attention with Relative Positional Encoding [63.539333383965726]
  相対的位置符号化(RPE)を用いた変換器の注意計算を高速化する新しい手法を提案する。 相対的な位置符号化がToeplitz行列を形成するという観測に基づいて、Fast Fourier Transform (FFT) を用いて、RPEによるカーネル化された注意を効率的に計算できることを数学的に示す。
  論文  参考訳（メタデータ） (2021-06-23T17:51:26Z)
• Neural Kalman Filtering [62.997667081978825]
  カルマンフィルタの勾配差近似は,差分重み付き予測誤差を持つ局所計算のみを必要とすることを示す。 また、同じスキームの下では、ヘビアン可塑性に直接対応する学習規則で動的モデルを適応的に学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-19T16:43:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。