論文の概要: Transformers Can Solve Non-Linear and Non-Markovian Filtering Problems in Continuous Time For Conditionally Gaussian Signals

• arxiv url: http://arxiv.org/abs/2310.19603v4
• Date: Mon, 14 Jul 2025 13:17:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 14:36:06.538454
• Title: Transformers Can Solve Non-Linear and Non-Markovian Filtering Problems in Continuous Time For Conditionally Gaussian Signals
• Title（参考訳）: 変圧器は条件付きガウス信号に対する連続時間における非線形および非マルコフフィルタ問題を解くことができる
• Authors: Blanka Horvath, Anastasis Kratsios, Yannick Limmer, Xuwei Yang,
• Abstract要約: テキストフィルタフォーマと呼ばれる連続時間変換モデルのクラスは、広範に非マルコフ的および条件付きガウス的信号プロセスの条件法則を概ね実装できることを示す。 我々の近似は、真の最適フィルタとディープラーニングモデルの間の最悪のケース2-ワッサーシュタイン距離が近似誤差を定量化するような、十分に定期的な連続時間パスのコンパクトな部分集合を均一に保持することを保証する。
• 参考スコア（独自算出の注目度）: 8.858600521363293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The use of attention-based deep learning models in stochastic filtering, e.g. transformers and deep Kalman filters, has recently come into focus; however, the potential for these models to solve stochastic filtering problems remains largely unknown. The paper provides an affirmative answer to this open problem in the theoretical foundations of machine learning by showing that a class of continuous-time transformer models, called \textit{filterformers}, can approximately implement the conditional law of a broad class of non-Markovian and conditionally Gaussian signal processes given noisy continuous-time (possibly non-Gaussian) measurements. Our approximation guarantees hold uniformly over sufficiently regular compact subsets of continuous-time paths, where the worst-case 2-Wasserstein distance between the true optimal filter and our deep learning model quantifies the approximation error. Our construction relies on two new customizations of the standard attention mechanism: The first can losslessly adapt to the characteristics of a broad range of paths since we show that the attention mechanism implements bi-Lipschitz embeddings of sufficiently regular sets of paths into low-dimensional Euclidean spaces; thus, it incurs no ``dimension reduction error''. The latter attention mechanism is tailored to the geometry of Gaussian measures in the $2$-Wasserstein space. Our analysis relies on new stability estimates of robust optimal filters in the conditionally Gaussian setting.
• Abstract（参考訳）: 確率的フィルタリング、eg変換器、ディープカルマンフィルタにおける注意に基づくディープラーニングモデルの使用が最近注目されているが、これらのモデルが確率的フィルタリング問題を解決する可能性はほとんど不明である。 本論文は機械学習の理論的基礎におけるこのオープンな問題に対する肯定的な回答として,非マルコフ的および条件付きガウス的信号プロセスの広範クラスの条件法則を,非ガウス的(あるいは非ガウス的)な測定値で概ね実装可能であることを示す。 我々の近似は、真の最適フィルタとディープラーニングモデルの間の最悪のケース2-ワッサーシュタイン距離が近似誤差を定量化するような、十分に定期的な連続時間パスのコンパクトな部分集合を均一に保持することを保証する。 注意機構は低次元ユークリッド空間への十分正則な経路の組のバイ・リプシッツ埋め込みを実装していることを示すので、「次元減少誤差」は生じない。 後者の注意機構は、ワッサーシュタイン空間のガウス測度の幾何学に合わせたものである。 我々の分析は、条件付きガウス条件におけるロバストな最適フィルタの新しい安定性推定に依存する。

関連論文リスト

• A competitive baseline for deep learning enhanced data assimilation using conditional Gaussian ensemble Kalman filtering [0.0]
  条件付きガウスEnKF(CG-EnKF)と正常スコアEnKF(NS-EnKF)の2つの非線形拡張について検討した。 我々はこれらのモデルを、スコアフィルタ(SF)と呼ばれる最先端のディープラーニングに基づく粒子フィルタと比較する。 解析の結果,CG-EnKFとNS-EnKFは非ガウス的な雑音摂動を処理できることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T02:54:33Z)
• Learning Optimal Filters Using Variational Inference [0.3749861135832072]
  フィルタリングシステムのためのパラメータ化分析マップを学習するためのフレームワークを提案する。 原理的には、これはフィルタリング分布の近似をより良くし、従ってバイアスを小さくする。 この手法は、線形および非線形力学系をフィルタリングするアフィン解析マップにおいてゲイン行列の学習に利用できることを示す。
  論文  参考訳（メタデータ） (2024-06-26T04:51:14Z)
• Bayesian Circular Regression with von Mises Quasi-Processes [57.88921637944379]
  本研究では、円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 後部推論のために,高速ギブズサンプリングに寄与するストラトノビッチ様拡張法を導入する。 本研究では,このモデルを用いて風向予測と走行歩行周期のパーセンテージを関節角度の関数として適用する実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• Outlier-robust Kalman Filtering through Generalised Bayes [45.51425214486509]
  我々は、状態空間モデルにおけるオンラインフィルタリングのための新しい、確実に堅牢でクローズドなベイズ更新ルールを導出する。 提案手法は, より少ない計算コストで, 他の頑健なフィルタリング手法に適合し, 性能が向上する。
  論文  参考訳（メタデータ） (2024-05-09T09:40:56Z)
• Closed-form Filtering for Non-linear Systems [83.91296397912218]
  我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。 本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。 提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
  論文  参考訳（メタデータ） (2024-02-15T08:51:49Z)
• Pathspace Kalman Filters with Dynamic Process Uncertainty for Analyzing Time-course Data [4.350285695981938]
  そこで我々はPathspace Kalman Filter (PKF) を開発した。 このアルゴリズムの応用は、内部力学モデルがデータから時間依存的に逸脱する時間窓を自動的に検出することである。 PKFは、平均二乗誤差を数桁下げる合成データセットにおいて、従来のKF法よりも優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2024-02-07T00:54:35Z)
• Fast sampling from constrained spaces using the Metropolis-adjusted Mirror Langevin algorithm [12.405427902037971]
  本稿では,コンパクトかつ凸集合を持つ分布からの近似サンプリング法を提案する。 このアルゴリズムは、ミラーランゲヴィンの単一ステップによって誘導されるマルコフ連鎖にアセプション-リジェクションフィルタを追加する。 近似的制約サンプリングの誤差耐性に対する指数関数的に優れた依存性が得られる。
  論文  参考訳（メタデータ） (2023-12-14T11:11:58Z)
• Nonlinear Filtering with Brenier Optimal Transport Maps [4.745059103971596]
  本稿では,非線形フィルタリング,すなわち動的システムの状態の条件分布の計算の問題について述べる。 従来の逐次重要再サンプリング(SIR)粒子フィルタは、縮退確率や高次元状態を含むシナリオにおいて、基本的な制限に悩まされる。 本稿では,Brenier 最適輸送 (OT) マップを,現在の状態の分布から次のステップにおける後部分布へ推定する手法について検討する。
  論文  参考訳（メタデータ） (2023-10-21T01:34:30Z)
• Outlier-Insensitive Kalman Filtering Using NUV Priors [24.413595920205907]
  実際には、観測は外れ値によって破損し、カルマンフィルタ(KF)の性能を著しく損なう。 本研究では、各電位外乱を未知の分散確率変数(NUV)としてモデル化し、外乱に敏感なKFを提案する。 予測最大化(EM)と変動ロバスト性(AM)の両方を用いて、NUVs分散をオンラインで推定する。
  論文  参考訳（メタデータ） (2022-10-12T11:00:13Z)
• Beyond the Edge of Stability via Two-step Gradient Updates [49.03389279816152]
  Gradient Descent(GD)は、現代の機械学習の強力な仕事場である。 GDが局所最小値を見つける能力は、リプシッツ勾配の損失に対してのみ保証される。 この研究は、2段階の勾配更新の分析を通じて、単純だが代表的でありながら、学習上の問題に焦点をあてる。
  論文  参考訳（メタデータ） (2022-06-08T21:32:50Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• A Logarithmic Bayesian Approach to Quantum Error Detection [0.0]
  本稿では,3ビットビットフリップ符号を用いた対数確率を用いたディジタルフィルタを提案する。 これらのフィルタは、有限時間ステップに対して明示的に導出される最適フィルタの近似である。 単項フィルタと2項フィルタは、Wonhamフィルタの二重しきい値スキームと線形化バージョンの両方を大きく上回っていることを示す。
  論文  参考訳（メタデータ） (2021-10-20T19:08:20Z)
• KalmanNet: Neural Network Aided Kalman Filtering for Partially Known Dynamics [84.18625250574853]
  KalmanNetは、データから学習し、非線形力学の下でKalmanフィルタを実行するリアルタイム状態推定器である。 我々は、KalmanNetが非線形性とモデルミスマッチを克服し、古典的なフィルタリング手法より優れていることを数値的に示す。
  論文  参考訳（メタデータ） (2021-07-21T12:26:46Z)
• Neural Kalman Filtering [62.997667081978825]
  カルマンフィルタの勾配差近似は,差分重み付き予測誤差を持つ局所計算のみを必要とすることを示す。 また、同じスキームの下では、ヘビアン可塑性に直接対応する学習規則で動的モデルを適応的に学習することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-19T16:43:15Z)
• Robust Reinforcement Learning with Wasserstein Constraint [49.86490922809473]
  最適なロバストなポリシーの存在を示し、摂動に対する感度分析を行い、新しいロバストな学習アルゴリズムを設計する。 提案アルゴリズムの有効性はCart-Pole環境で検証する。
  論文  参考訳（メタデータ） (2020-06-01T13:48:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。