論文の概要: Statistical Guarantees for Transformation Based Models with Applications to Implicit Variational Inference

• arxiv url: http://arxiv.org/abs/2010.14056v2
• Date: Wed, 4 Nov 2020 20:02:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 22:27:06.671351
• Title: Statistical Guarantees for Transformation Based Models with Applications to Implicit Variational Inference
• Title（参考訳）: 変換に基づくモデルの統計的保証と暗黙的変分推論への応用
• Authors: Sean Plummer, Shuang Zhou, Anirban Bhattacharya, David Dunson, Debdeep Pati
• Abstract要約: 非パラメトリック推論における非線形潜在変数モデル(NL-LVM)の使用に関する理論的正当性を提供する。 我々はNL-LVMを用いて、GP-IVIとみなす変分分布の暗黙の族を構築する。 私たちの知る限りでは、暗黙の変分推論の理論的保証を提供するための最初の研究である。
• 参考スコア（独自算出の注目度）: 8.333191406788423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformation-based methods have been an attractive approach in non-parametric inference for problems such as unconditional and conditional density estimation due to their unique hierarchical structure that models the data as flexible transformation of a set of common latent variables. More recently, transformation-based models have been used in variational inference (VI) to construct flexible implicit families of variational distributions. However, their use in both non-parametric inference and variational inference lacks theoretical justification. We provide theoretical justification for the use of non-linear latent variable models (NL-LVMs) in non-parametric inference by showing that the support of the transformation induced prior in the space of densities is sufficiently large in the $L_1$ sense. We also show that, when a Gaussian process (GP) prior is placed on the transformation function, the posterior concentrates at the optimal rate up to a logarithmic factor. Adopting the flexibility demonstrated in the non-parametric setting, we use the NL-LVM to construct an implicit family of variational distributions, deemed GP-IVI. We delineate sufficient conditions under which GP-IVI achieves optimal risk bounds and approximates the true posterior in the sense of the Kullback-Leibler divergence. To the best of our knowledge, this is the first work on providing theoretical guarantees for implicit variational inference.
• Abstract（参考訳）: 変換に基づく手法は、非条件的および条件的密度推定のような問題に対する非パラメトリックな推論において、共通の潜在変数の集合のフレキシブルな変換としてデータをモデル化するユニークな階層構造のために魅力的なアプローチである。 最近では、変分分布の柔軟な暗黙の族を構成するために変分推論(VI)に変換ベースのモデルが用いられている。 しかし、非パラメトリック推論と変分推論の両方での使用は理論的な正当化を欠いている。 非線型潜在変数モデル(NL-LVM)の非パラメトリック推論における使用の理論的正当性は、密度空間に先立って誘導される変換の支持が$L_1$の意味で十分大きいことを示す。 また,gaussian process (gp) pre が変換関数上に配置されると,後方は対数係数まで最適速度に集中することを示した。 非パラメトリックな設定で示される柔軟性を採用することで、NL-LVMを用いて、GP-IVIと考えられる変分分布の暗黙の族を構築する。 GP-IVIが最適リスク境界を達成し、Kulback-Leiblerの発散という意味での真の後方を近似する十分な条件を導出する。 私たちの知る限りでは、これは暗黙の変分推論に対する理論的保証を提供する最初の仕事です。

関連論文リスト

• Amortized Variational Inference for Deep Gaussian Processes [0.0]
  ディープガウス過程(DGP)はガウス過程(GP)の多層一般化である 本稿では,DGPに対して,各観測を変動パラメータにマッピングする推論関数を学習するアモータライズされた変分推論を導入する。 本手法は, 計算コストの低い従来の手法よりも, 同様に, あるいはより優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-18T20:23:27Z)
• Reparameterized Variational Rejection Sampling [12.189621777178354]
  変動リジェクションサンプリング(VRS)は、パラメータ提案分布とサンプリングリジェクションを組み合わせて、リッチな非パラメトリック分布の族を定義する。 提案手法は,実運用において良好に動作し,特に局所潜伏変数を持つモデルではブラックボックス推論に適していることを示す。
  論文  参考訳（メタデータ） (2023-09-26T01:46:53Z)
• Monte Carlo inference for semiparametric Bayesian regression [5.488491124945426]
  本稿では、未知の変換とすべての回帰モデルパラメータの結合後部推論のための単純で汎用的で効率的な戦略を提案する。 これは(1)複数のモデルの不特定性を含む一般条件下での合同後続一貫性を提供し、(2)変換に対する効率的なモンテカルロ(マルコフ連鎖でないモンテカルロ)の推論と重要な特殊ケースに対する全てのパラメータを提供する。
  論文  参考訳（メタデータ） (2023-06-08T18:42:42Z)
• Variational Nonlinear Kalman Filtering with Unknown Process Noise Covariance [24.23243651301339]
  本稿では,近似ベイズ推定原理に基づく非線形状態推定とモデルパラメータの同定手法を提案する。 シミュレーションおよび実世界のデータを用いて,レーダ目標追尾法の性能を検証した。
  論文  参考訳（メタデータ） (2023-05-06T03:34:39Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Amortized backward variational inference in nonlinear state-space models [0.0]
  変分推論を用いた一般状態空間モデルにおける状態推定の問題点を考察する。 仮定を混合することにより、加法的状態汎関数の期待の変動近似が、観測数において最も直線的に増加する誤差を誘導することを初めて確立した。
  論文  参考訳（メタデータ） (2022-06-01T08:35:54Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• A Variational Inference Approach to Inverse Problems with Gamma Hyperpriors [60.489902135153415]
  本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。 提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
  論文  参考訳（メタデータ） (2021-11-26T06:33:29Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。