論文の概要: Generative Particle Variational Inference via Estimation of Functional Gradients

• arxiv url: http://arxiv.org/abs/2103.01291v1
• Date: Mon, 1 Mar 2021 20:29:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 18:36:09.848096
• Title: Generative Particle Variational Inference via Estimation of Functional Gradients
• Title（参考訳）: 関数勾配の推定による生成的粒子変動推定
• Authors: Neale Ratzlaff, Qinxun Bai, Li Fuxin, Wei Xu
• Abstract要約: 本研究では, 後方分布から標本を推定する新しい学習法を提案する。 生成型ParVI (GPVI) 手法は, 生成型サンプリング装置の柔軟性を提供しながら, ParVI 法の性能を維持している。
• 参考スコア（独自算出の注目度）: 15.370890881254066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, particle-based variational inference (ParVI) methods have gained interest because they directly minimize the Kullback-Leibler divergence and do not suffer from approximation errors from the evidence-based lower bound. However, many ParVI approaches do not allow arbitrary sampling from the posterior, and the few that do allow such sampling suffer from suboptimality. This work proposes a new method for learning to approximately sample from the posterior distribution. We construct a neural sampler that is trained with the functional gradient of the KL-divergence between the empirical sampling distribution and the target distribution, assuming the gradient resides within a reproducing kernel Hilbert space. Our generative ParVI (GPVI) approach maintains the asymptotic performance of ParVI methods while offering the flexibility of a generative sampler. Through carefully constructed experiments, we show that GPVI outperforms previous generative ParVI methods such as amortized SVGD, and is competitive with ParVI as well as gold-standard approaches like Hamiltonian Monte Carlo for fitting both exactly known and intractable target distributions.
• Abstract（参考訳）: 近年,Kulback-Leibler分散を直接最小化し,エビデンスに基づく下界からの近似誤差に悩まされないため,ParVI法が注目されている。 しかし、多くのParVIアプローチは後部からの任意のサンプリングを許さず、そのようなサンプリングを許すものは極端に最適である。 本研究では, 後方分布から標本を推定する新しい学習法を提案する。 経験的サンプリング分布とターゲット分布の間のKL分散の機能勾配で訓練されたニューラルサンプラーを構築し、その勾配が再生カーネルヒルベルト空間内に存在すると仮定する。 生成型ParVI (GPVI) 法は, 生成型サンプリング装置の柔軟性を提供しつつ, ParVI 法の漸近的性能を維持している。 念入りに構築した実験により,gpvi は amortized svgd のような従来の生成的 parvi 法よりも優れており,正確な既知の目標分布と難解な目標分布とを適合させるため,parvi やhamtonian monte carlo のような金標準アプローチと競合することを示した。

関連論文リスト

• Functional Gradient Flows for Constrained Sampling [29.631753643887237]
  本稿では,制約付き関数勾配流(CFG)と呼ばれる,制約付きサンプリングのための新しい関数勾配ParVI法を提案する。 また、領域制約から生じる境界積分項を扱うための新しい数値戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-30T16:20:48Z)
• Semi-Implicit Functional Gradient Flow [30.32233517392456]
  近似系として摂動粒子を用いる関数勾配ParVI法を提案する。 対応する関数勾配流は、スコアマッチングによって推定できるが、強い理論的収束を保証する。
  論文  参考訳（メタデータ） (2024-10-23T15:00:30Z)
• Particle Semi-Implicit Variational Inference [2.555222031881788]
  半単純変分推論(SIVI)は、カーネルと混合分布を利用して変分族を表現する。 既存のSIVI法は、暗黙の分布を用いて混合分布をパラメータ化し、難解な変動密度をもたらす。 本研究では, 最適混合分布を近似する実験手法を用いて, PVI (Particle Variational Inference) と呼ばれるSIVIの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T10:21:41Z)
• Score-based Source Separation with Applications to Digital Communication Signals [72.6570125649502]
  拡散モデルを用いた重畳音源の分離手法を提案する。 高周波(RF)システムへの応用によって、我々は、基礎となる離散的な性質を持つ情報源に興味を持っている。 提案手法は,最近提案されたスコア蒸留サンプリング方式のマルチソース拡張と見なすことができる。
  論文  参考訳（メタデータ） (2023-06-26T04:12:40Z)
• Restoration-Degradation Beyond Linear Diffusions: A Non-Asymptotic Analysis For DDIM-Type Samplers [90.45898746733397]
  本研究では拡散生成モデルに用いる決定論的サンプリング器の非漸近解析のためのフレームワークを開発する。 確率フローODEに沿った1ステップは,1) 条件付き対数線上を無限に先行して上昇する回復ステップ,2) 雑音を現在の勾配に向けて前向きに進行する劣化ステップの2段階で表すことができる。
  論文  参考訳（メタデータ） (2023-03-06T18:59:19Z)
• Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates [1.90365714903665]
  コインベッティングに基づくスケーラブルなベイズ推論のための新しい粒子ベースの手法について紹介する。 学習率を調整する必要のない他のParVIアルゴリズムに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2023-01-26T18:32:21Z)
• Generalised Gaussian Process Latent Variable Models (GPLVM) with Stochastic Variational Inference [9.468270453795409]
  ミニバッチ学習が可能なBayesianVMモデルの2倍の定式化について検討する。 このフレームワークが、異なる潜在変数の定式化とどのように互換性を持つかを示し、モデルの組を比較する実験を行う。 我々は、膨大な量の欠落データの存在下でのトレーニングと、高忠実度再構築の実施を実証する。
  論文  参考訳（メタデータ） (2022-02-25T21:21:51Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Loss function based second-order Jensen inequality and its application to particle variational inference [112.58907653042317]
  粒子変分推論(PVI)は、後部分布の実験的近似としてモデルのアンサンブルを用いる。 PVIは、最適化されたモデルの多様性を保証するために、各モデルを反発力で反復的に更新する。 我々は,新たな一般化誤差を導出し,モデルの多様性を高めて低減できることを示す。
  論文  参考訳（メタデータ） (2021-06-09T12:13:51Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。