論文の概要: Generative Particle Variational Inference via Estimation of Functional
Gradients
- arxiv url: http://arxiv.org/abs/2103.01291v1
- Date: Mon, 1 Mar 2021 20:29:41 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-05 18:36:09.848096
- Title: Generative Particle Variational Inference via Estimation of Functional
Gradients
- Title(参考訳): 関数勾配の推定による生成的粒子変動推定
- Authors: Neale Ratzlaff, Qinxun Bai, Li Fuxin, Wei Xu
- Abstract要約: 本研究では, 後方分布から標本を推定する新しい学習法を提案する。
生成型ParVI (GPVI) 手法は, 生成型サンプリング装置の柔軟性を提供しながら, ParVI 法の性能を維持している。
- 参考スコア(独自算出の注目度): 15.370890881254066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recently, particle-based variational inference (ParVI) methods have gained
interest because they directly minimize the Kullback-Leibler divergence and do
not suffer from approximation errors from the evidence-based lower bound.
However, many ParVI approaches do not allow arbitrary sampling from the
posterior, and the few that do allow such sampling suffer from suboptimality.
This work proposes a new method for learning to approximately sample from the
posterior distribution. We construct a neural sampler that is trained with the
functional gradient of the KL-divergence between the empirical sampling
distribution and the target distribution, assuming the gradient resides within
a reproducing kernel Hilbert space. Our generative ParVI (GPVI) approach
maintains the asymptotic performance of ParVI methods while offering the
flexibility of a generative sampler. Through carefully constructed experiments,
we show that GPVI outperforms previous generative ParVI methods such as
amortized SVGD, and is competitive with ParVI as well as gold-standard
approaches like Hamiltonian Monte Carlo for fitting both exactly known and
intractable target distributions.
- Abstract(参考訳): 近年,Kulback-Leibler分散を直接最小化し,エビデンスに基づく下界からの近似誤差に悩まされないため,ParVI法が注目されている。
しかし、多くのParVIアプローチは後部からの任意のサンプリングを許さず、そのようなサンプリングを許すものは極端に最適である。
本研究では, 後方分布から標本を推定する新しい学習法を提案する。
経験的サンプリング分布とターゲット分布の間のKL分散の機能勾配で訓練されたニューラルサンプラーを構築し、その勾配が再生カーネルヒルベルト空間内に存在すると仮定する。
生成型ParVI (GPVI) 法は, 生成型サンプリング装置の柔軟性を提供しつつ, ParVI 法の漸近的性能を維持している。
念入りに構築した実験により,gpvi は amortized svgd のような従来の生成的 parvi 法よりも優れており,正確な既知の目標分布と難解な目標分布とを適合させるため,parvi やhamtonian monte carlo のような金標準アプローチと競合することを示した。
関連論文リスト
- Entropy-MCMC: Sampling from Flat Basins with Ease [12.716429755564823]
我々は, シャープモードから解放された円滑な後円板に類似した定常分布である補助誘導変数を導入し, MCMC試料を平らな盆地に導出する。
この導出変数をモデルパラメータと統合することにより、計算オーバーヘッドを最小限に抑えた効率的なサンプリングを可能にする、単純なジョイント分布を作成する。
実験により,提案手法は後方の平らな盆地から試料を採取し,比較したベースラインを複数ベンチマークで比較した。
論文 参考訳(メタデータ) (2023-10-09T04:40:20Z) - Score-based Source Separation with Applications to Digital Communication
Signals [72.6570125649502]
拡散モデルを用いた重畳音源の分離手法を提案する。
高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。
提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
論文 参考訳(メタデータ) (2023-06-26T04:12:40Z) - Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic
Analysis For DDIM-Type Samplers [90.45898746733397]
本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。
確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
論文 参考訳(メタデータ) (2023-03-06T18:59:19Z) - Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates [1.90365714903665]
コインベッティングに基づくスケーラブルなベイズ推論のための新しい粒子ベースの手法について紹介する。
学習率を調整する必要のない他のParVIアルゴリズムに匹敵する性能を示す。
論文 参考訳(メタデータ) (2023-01-26T18:32:21Z) - Generalised Gaussian Process Latent Variable Models (GPLVM) with
Stochastic Variational Inference [9.468270453795409]
ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。
このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。
我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
論文 参考訳(メタデータ) (2022-02-25T21:21:51Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳(メタデータ) (2021-10-20T02:25:25Z) - Loss function based second-order Jensen inequality and its application
to particle variational inference [112.58907653042317]
粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。
PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。
我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
論文 参考訳(メタデータ) (2021-06-09T12:13:51Z) - Variational Rejection Particle Filtering [28.03831528555717]
変動拒絶粒子フィルタ(VRPF)は、限界可能性に関する新しい変動境界をもたらす。
変動境界の理論的性質を提示し、連続データの様々なモデルに関する実験を実証する。
論文 参考訳(メタデータ) (2021-03-29T05:29:58Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳(メタデータ) (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。