論文の概要: Variational excess risk bound for general state space models

• arxiv url: http://arxiv.org/abs/2312.09607v1
• Date: Fri, 15 Dec 2023 08:41:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 16:37:10.509261
• Title: Variational excess risk bound for general state space models
• Title（参考訳）: 一般状態空間モデルにおける変分過剰リスク
• Authors: \'Elisabeth Gassiat (LM-Orsay), Sylvain Le Corff (SU, LPSM (UMR\_8001))
• Abstract要約: 一般状態空間モデルに対する変分オートエンコーダ(VAE)について検討する。 本稿では, 変動分布の逆因数分解について検討し, VAEに関連する余剰リスクを解析する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we consider variational autoencoders (VAE) for general state space models. We consider a backward factorization of the variational distributions to analyze the excess risk associated with VAE. Such backward factorizations were recently proposed to perform online variational learning and to obtain upper bounds on the variational estimation error. When independent trajectories of sequences are observed and under strong mixing assumptions on the state space model and on the variational distribution, we provide an oracle inequality explicit in the number of samples and in the length of the observation sequences. We then derive consequences of this theoretical result. In particular, when the data distribution is given by a state space model, we provide an upper bound for the Kullback-Leibler divergence between the data distribution and its estimator and between the variational posterior and the estimated state space posterior distributions.Under classical assumptions, we prove that our results can be applied to Gaussian backward kernels built with dense and recurrent neural networks.
• Abstract（参考訳）: 本稿では、一般状態空間モデルに対する変分オートエンコーダ(VAE)について考察する。 我々は,vaeに関連する過剰なリスクを分析するために,変動分布の後方要因化を検討する。 このような後方因子分解は,オンライン変分学習と変分推定誤差の上限を求めるために最近提案されている。 状態空間モデルと変分分布に関する強い混合仮定の下で、配列の独立な軌跡が観測された場合、サンプル数および観測列の長さで明示されたオラクル不等式が提供される。 そして、この理論結果の結果を導き出す。 特に,データ分布が状態空間モデルによって与えられる場合,データ分布と推定値との間のKullback-Leibler分散と,変動後部と推定状態空間後部分布との上限を与える。

関連論文リスト

• Convergence of Score-Based Discrete Diffusion Models: A Discrete-Time Analysis [56.442307356162864]
  連続時間マルコフ連鎖(CTMC)に基づくスコアベース離散拡散モデルの理論的側面について検討する。 本稿では,事前定義された時間点におけるスコア推定値を利用する離散時間サンプリングアルゴリズムを一般状態空間$[S]d$に導入する。 我々の収束解析はジルサノフ法を用いて離散スコア関数の重要な性質を確立する。
  論文  参考訳（メタデータ） (2024-10-03T09:07:13Z)
• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
  回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。 我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
  論文  参考訳（メタデータ） (2023-10-12T10:56:25Z)
• Asymptotics of Bayesian Uncertainty Estimation in Random Features Regression [1.170951597793276]
  本研究では, 後方予測分布(ベイジアンモデル平均)のばらつきに着目し, MAP推定器の危険度と比較する。 また、サンプルの数がモデル次元のどの定数倍数よりも速く成長する場合にも一致する。
  論文  参考訳（メタデータ） (2023-06-06T15:36:15Z)
• Reliable amortized variational inference with physics-based latent distribution correction [0.4588028371034407]
  ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。 このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。 補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
  論文  参考訳（メタデータ） (2022-07-24T02:38:54Z)
• Excess risk analysis for epistemic uncertainty with application to variational inference [110.4676591819618]
  我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。 一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。 本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
  論文  参考訳（メタデータ） (2022-06-02T12:12:24Z)
• Amortized backward variational inference in nonlinear state-space models [0.0]
  変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
  論文  参考訳（メタデータ） (2022-06-01T08:35:54Z)
• Latent Causal Invariant Model [128.7508609492542]
  現在の教師付き学習は、データ適合プロセス中に急激な相関を学習することができる。 因果予測を求める潜在因果不変モデル(LaCIM)を提案する。
  論文  参考訳（メタデータ） (2020-11-04T10:00:27Z)
• Discrete Variational Attention Models for Language Generation [51.88612022940496]
  本稿では,言語における離散性に起因する注意機構のカテゴリー分布を考慮した離散的変動注意モデルを提案する。 離散性の特質により,提案手法の訓練は後部崩壊に支障を来さない。
  論文  参考訳（メタデータ） (2020-04-21T05:49:04Z)
• Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
  変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。 これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。 おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
  論文  参考訳（メタデータ） (2020-02-17T19:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。