論文の概要: Amortized backward variational inference in nonlinear state-space models

• arxiv url: http://arxiv.org/abs/2206.00319v1
• Date: Wed, 1 Jun 2022 08:35:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 13:17:31.861707
• Title: Amortized backward variational inference in nonlinear state-space models
• Title（参考訳）: 非線形状態空間モデルにおけるamortized backward variational inference
• Authors: Mathis Chagneux, \'Elisabeth Gassiat (LMO), Pierre Gloaguen (MIA Paris-Saclay), Sylvain Le Corff (IP Paris, TSP, SAMOVAR)
• Abstract要約: 変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of state estimation in general state-space models using variational inference. For a generic variational family defined using the same backward decomposition as the actual joint smoothing distribution, we establish for the first time that, under mixing assumptions, the variational approximation of expectations of additive state functionals induces an error which grows at most linearly in the number of observations. This guarantee is consistent with the known upper bounds for the approximation of smoothing distributions using standard Monte Carlo methods. Moreover, we propose an amortized inference framework where a neural network shared over all times steps outputs the parameters of the variational kernels. We also study empirically parametrizations which allow analytical marginalization of the variational distributions, and therefore lead to efficient smoothing algorithms. Significant improvements are made over state-of-the art variational solutions, especially when the generative model depends on a strongly nonlinear and noninjective mixing function.
• Abstract（参考訳）: 変分推論を用いた一般状態空間モデルにおける状態推定の問題を考える。 実関節平滑化分布と同じ後方分解を用いて定義される一般的な変分族に対して、仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増大する誤差を誘導することを初めて確立する。 この保証は、標準モンテカルロ法を用いた平滑化分布の近似の既知の上界と一致する。 さらに,すべてのステップで共有されるニューラルネットワークが変動型カーネルのパラメータを出力する,償却推論フレームワークを提案する。 また,変分分布の解析的辺縁化が可能な経験的パラメトリゼーションも検討し,効率的な平滑化アルゴリズムを導出する。 特に生成モデルが強非線形および非インジェクティブ混合関数に依存する場合、最先端の変分解よりも大きな改善がなされる。

関連論文リスト

• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Variational Nonlinear Kalman Filtering with Unknown Process Noise Covariance [24.23243651301339]
  本稿では,近似ベイズ推定原理に基づく非線形状態推定とモデルパラメータの同定手法を提案する。 シミュレーションおよび実世界のデータを用いて,レーダ目標追尾法の性能を検証した。
  論文  参考訳（メタデータ） (2023-05-06T03:34:39Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Moment-Based Variational Inference for Stochastic Differential Equations [31.494103873662343]
  我々は,前処理の制御バージョンとして変分過程を構築する。 我々は、モーメント関数のセットによって後部を近似する。 モーメント閉包と組み合わせて、平滑化問題は決定論的最適制御問題に還元される。
  論文  参考訳（メタデータ） (2021-03-01T13:20:38Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• Gaussian Variational State Estimation for Nonlinear State-Space Models [0.3222802562733786]
  非線形状態空間モデルに対するフィルタリングと平滑化の両面から状態推定の問題を考察する。 我々は変分推論に基づく仮定ガウス解を開発し、必要な分布を近似する柔軟なが原則化されたメカニズムの鍵となる利点を提供する。
  論文  参考訳（メタデータ） (2020-02-07T04:46:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。