論文の概要: Transformers Can Solve Non-Linear and Non-Markovian Filtering Problems in Continuous Time For Conditionally Gaussian Signals

• arxiv url: http://arxiv.org/abs/2310.19603v3
• Date: Mon, 07 Jul 2025 17:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:36.244628
• Title: Transformers Can Solve Non-Linear and Non-Markovian Filtering Problems in Continuous Time For Conditionally Gaussian Signals
• Title（参考訳）: 変圧器は条件付きガウス信号に対する連続時間における非線形および非マルコフフィルタ問題を解くことができる
• Authors: Blanka Horvath, Anastasis Kratsios, Yannick Limmer, Xuwei Yang,
• Abstract要約: テキストフィルタフォーマと呼ばれる連続時間変換モデルのクラスは、広範に非マルコフ的および条件付きガウス的信号プロセスの条件法則を概ね実装できることを示す。 我々の近似は、真の最適フィルタとディープラーニングモデルの間の最悪のケース2-ワッサーシュタイン距離が近似誤差を定量化するような、十分に定期的な連続時間パスのコンパクトな部分集合を均一に保持することを保証する。
• 参考スコア（独自算出の注目度）: 8.858600521363293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of attention-based deep learning models in stochastic filtering, e.g.\ transformers and deep Kalman filters, has recently come into focus; however, the potential for these models to solve stochastic filtering problems remains largely unknown. The paper provides an affirmative answer to this open problem in the theoretical foundations of machine learning by showing that a class of continuous-time transformer models, called \textit{filterformers}, can approximately implement the conditional law of a broad class of non-Markovian and conditionally Gaussian signal processes given noisy continuous-time (possibly non-Gaussian) measurements. Our approximation guarantees hold uniformly over sufficiently regular compact subsets of continuous-time paths, where the worst-case 2-Wasserstein distance between the true optimal filter and our deep learning model quantifies the approximation error. Our construction relies on two new customizations of the standard attention mechanism: The first can losslessly adapt to the characteristics of a broad range of paths since we show that the attention mechanism implements bi-Lipschitz embeddings of sufficiently regular sets of paths into low-dimensional Euclidean spaces; thus, it incurs no ``dimension reduction error''. The latter attention mechanism is tailored to the geometry of Gaussian measures in the $2$-Wasserstein space. Our analysis relies on new stability estimates of robust optimal filters in the conditionally Gaussian setting.
• Abstract（参考訳）: 確率的フィルタリングやeg \変換器、ディープカルマンフィルタにおける注意に基づくディープラーニングモデルの利用が最近注目されているが、これらのモデルが確率的フィルタリング問題を解決する可能性はほとんど分かっていない。 本論文は機械学習の理論的基礎におけるこのオープンな問題に対する肯定的な回答として,非マルコフ的および条件付きガウス的信号プロセスの広範クラスの条件法則を,非ガウス的(あるいは非ガウス的)な測定値で概ね実装可能であることを示す。 我々の近似は、真の最適フィルタとディープラーニングモデルの間の最悪のケース2-ワッサーシュタイン距離が近似誤差を定量化するような、十分に定期的な連続時間パスのコンパクトな部分集合を均一に保持することを保証する。 注意機構は低次元ユークリッド空間への十分正則な経路の組のバイ・リプシッツ埋め込みを実装していることを示すので、「次元減少誤差」は生じない。 後者の注意機構は、ワッサーシュタイン空間のガウス測度の幾何学に合わせたものである。 我々の分析は、条件付きガウス条件におけるロバストな最適フィルタの新しい安定性推定に依存する。

関連論文リスト

• A competitive baseline for deep learning enhanced data assimilation using conditional Gaussian ensemble Kalman filtering [0.0]
  条件付きガウスEnKF(CG-EnKF)と正常スコアEnKF(NS-EnKF)の2つの非線形拡張について検討した。 我々はこれらのモデルを、スコアフィルタ(SF)と呼ばれる最先端のディープラーニングに基づく粒子フィルタと比較する。 解析の結果,CG-EnKFとNS-EnKFは非ガウス的な雑音摂動を処理できることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T02:54:33Z)
• Learning Optimal Filters Using Variational Inference [0.3749861135832072]
  フィルタリングシステムのためのパラメータ化分析マップを学習するためのフレームワークを提案する。 原理的には、これはフィルタリング分布の近似をより良くし、従ってバイアスを小さくする。 この手法は、線形および非線形力学系をフィルタリングするアフィン解析マップにおいてゲイン行列の学習に利用できることを示す。
  論文  参考訳（メタデータ） (2024-06-26T04:51:14Z)
• Outlier-robust Kalman Filtering through Generalised Bayes [45.51425214486509]
  我々は、状態空間モデルにおけるオンラインフィルタリングのための新しい、確実に堅牢でクローズドなベイズ更新ルールを導出する。 提案手法は, より少ない計算コストで, 他の頑健なフィルタリング手法に適合し, 性能が向上する。
  論文  参考訳（メタデータ） (2024-05-09T09:40:56Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Pathspace Kalman Filters with Dynamic Process Uncertainty for Analyzing Time-course Data [4.350285695981938]
  そこで我々はPathspace Kalman Filter (PKF) を開発した。 このアルゴリズムの応用は、内部力学モデルがデータから時間依存的に逸脱する時間窓を自動的に検出することである。 PKFは、平均二乗誤差を数桁下げる合成データセットにおいて、従来のKF法よりも優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2024-02-07T00:54:35Z)
• Outlier-Insensitive Kalman Filtering Using NUV Priors [24.413595920205907]
  実際には、観測は外れ値によって破損し、カルマンフィルタ(KF)の性能を著しく損なう。 本研究では、各電位外乱を未知の分散確率変数(NUV)としてモデル化し、外乱に敏感なKFを提案する。 予測最大化(EM)と変動ロバスト性(AM)の両方を用いて、NUVs分散をオンラインで推定する。
  論文  参考訳（メタデータ） (2022-10-12T11:00:13Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• KalmanNet: Neural Network Aided Kalman Filtering for Partially Known Dynamics [84.18625250574853]
  KalmanNetは、データから学習し、非線形力学の下でKalmanフィルタを実行するリアルタイム状態推定器である。 我々は、KalmanNetが非線形性とモデルミスマッチを克服し、古典的なフィルタリング手法より優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2021-07-21T12:26:46Z)
• Neural Kalman Filtering [62.997667081978825]
  カルマンフィルタの勾配差近似は,差分重み付き予測誤差を持つ局所計算のみを必要とすることを示す。 また、同じスキームの下では、ヘビアン可塑性に直接対応する学習規則で動的モデルを適応的に学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-19T16:43:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。