論文の概要: Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation

• arxiv url: http://arxiv.org/abs/2404.09113v2
• Date: Tue, 16 Apr 2024 18:43:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 12:46:40.118867
• Title: Extending Mean-Field Variational Inference via Entropic Regularization: Theory and Computation
• Title（参考訳）: エントロピー正規化による平均場変分推論の拡張:理論と計算
• Authors: Bohan Wu, David Blei,
• Abstract要約: 変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。 エントロピー正則化を通したナイーブ平均場を拡張する新しいVI法を提案する。 我々は,$Xi$-variational rearsが真の後縁依存性を効果的に回復することを示した。
• 参考スコア（独自算出の注目度）: 2.2656885622116394
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational inference (VI) has emerged as a popular method for approximate inference for high-dimensional Bayesian models. In this paper, we propose a novel VI method that extends the naive mean field via entropic regularization, referred to as $\Xi$-variational inference ($\Xi$-VI). $\Xi$-VI has a close connection to the entropic optimal transport problem and benefits from the computationally efficient Sinkhorn algorithm. We show that $\Xi$-variational posteriors effectively recover the true posterior dependency, where the dependence is downweighted by the regularization parameter. We analyze the role of dimensionality of the parameter space on the accuracy of $\Xi$-variational approximation and how it affects computational considerations, providing a rough characterization of the statistical-computational trade-off in $\Xi$-VI. We also investigate the frequentist properties of $\Xi$-VI and establish results on consistency, asymptotic normality, high-dimensional asymptotics, and algorithmic stability. We provide sufficient criteria for achieving polynomial-time approximate inference using the method. Finally, we demonstrate the practical advantage of $\Xi$-VI over mean-field variational inference on simulated and real data.
• Abstract（参考訳）: 変分推論 (VI) は高次元ベイズモデルに対する近似推論の一般的な方法として登場した。 本稿では、エントロピー正則化($\Xi$-variational inference($\Xi$-VI)と呼ばれる)を通じて、ナイーブ平均場を拡張する新しいVI法を提案する。 Xi$-VI はエントロピック最適輸送問題と密接な関係を持ち、計算効率の良いシンクホーンアルゴリズムの恩恵を受けている。 正則化パラメータによって依存度が下降する真の後続依存性を,$\Xi$-variational rearsが効果的に回復することを示す。 パラメータ空間の次元性が$\Xi$-variational approximationの精度およびそれが計算上の考慮にどう影響するかを解析し、$\Xi$-VIにおける統計計算トレードオフの粗い特徴を与える。 また、$\Xi$-VIの頻繁な性質を調査し、一貫性、漸近正規性、高次元漸近性、アルゴリズム安定性について結果を確立する。 この手法を用いて多項式時間近似推論を実現するのに十分な基準を提供する。 最後に、シミュレーションおよび実データに対する平均場変動推定に対する$\Xi$-VIの実用的利点を示す。

関連論文リスト

• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• On the Convergence of Coordinate Ascent Variational Inference [11.166959724276337]
  平均場 (MF) VI を実装するための共通座標アセント変分推論 (CAVI) アルゴリズムについて検討する。 我々はCAVIの大域的あるいは局所的な指数収束を証明するための一般的な条件を提供する。 目的関数に影響を及ぼす構成ブロック間の相互作用を特徴付けるための一般化相関の新しい概念を紹介する。
  論文  参考訳（メタデータ） (2023-06-01T20:19:30Z)
• VI-DGP: A variational inference method with deep generative prior for solving high-dimensional inverse problems [0.7734726150561089]
  本研究では,高次元後方分布を推定するための新しい近似法を提案する。 このアプローチは、深層生成モデルを利用して、空間的に変化するパラメータを生成することができる事前モデルを学ぶ。 提案手法は自動微分方式で完全に実装できる。
  論文  参考訳（メタデータ） (2023-02-22T06:48:10Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Optimal oracle inequalities for solving projected fixed-point equations [53.31620399640334]
  ヒルベルト空間の既知の低次元部分空間を探索することにより、確率観測の集合を用いて近似解を計算する手法を検討する。 本稿では,線形関数近似を用いた政策評価問題に対する時間差分学習手法の誤差を正確に評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-12-09T20:19:32Z)
• Statistical Guarantees for Transformation Based Models with Applications to Implicit Variational Inference [8.333191406788423]
  非パラメトリック推論における非線形潜在変数モデル(NL-LVM)の使用に関する理論的正当性を提供する。 我々はNL-LVMを用いて、GP-IVIとみなす変分分布の暗黙の族を構築する。 私たちの知る限りでは、暗黙の変分推論の理論的保証を提供するための最初の研究である。
  論文  参考訳（メタデータ） (2020-10-23T21:06:29Z)
• f-Divergence Variational Inference [9.172478956440216]
  $f$-VIフレームワークは、既存のVIメソッドを統一する。 一般の$f$-変数境界が導出され、限界確率(または証拠)のサンドイッチ推定を提供する。 また、f$-VIに対して、よく知られた座標のアセント変分推論を一般化する平均場近似スキームを提案する。
  論文  参考訳（メタデータ） (2020-09-28T06:22:05Z)
• Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model [0.0]
  このモデルに基づく最小二乗リスクに対する1パス, 固定段差勾配勾配の収束度を解析した。 特殊な場合として、ランダムなサンプリング点における値のノイズのない観測から単位区間上の実関数を推定するオンラインアルゴリズムを解析する。
  論文  参考訳（メタデータ） (2020-06-15T08:25:50Z)
• SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives [86.01677297601624]
  本稿では,2次フーリエ特徴に基づく導関数によるGP回帰のスケーリング手法を提案する。 我々は、近似されたカーネルと近似された後部の両方に適用される決定論的、非漸近的、指数関数的に高速な崩壊誤差境界を証明した。
  論文  参考訳（メタデータ） (2020-03-05T14:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。