論文の概要: Interpolating between sampling and variational inference with infinite
stochastic mixtures
- arxiv url: http://arxiv.org/abs/2110.09618v1
- Date: Mon, 18 Oct 2021 20:50:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-21 02:59:53.572125
- Title: Interpolating between sampling and variational inference with infinite
stochastic mixtures
- Title（参考訳）: 無限確率混合によるサンプリングと変分推論の補間
- Authors: Richard D. Lange, Ari Benjamin, Ralf M. Haefner, Xaq Pitkow
- Abstract要約: サンプリングと変分推論(VI)は相補的な強度を持つ近似推論の方法の2つの大きなファミリーである。
本稿では,サンプリングとVIの双方の強度のバランスをとる中間アルゴリズムを構築するためのフレームワークを開発する。
この研究は、サンプリングとVIの相補的な強みを組み合わせた、非常に柔軟で単純な推論手法の族への第一歩である。
- 参考スコア（独自算出の注目度）: 6.021787236982659
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sampling and Variational Inference (VI) are two large families of methods for
approximate inference with complementary strengths. Sampling methods excel at
approximating arbitrary probability distributions, but can be inefficient. VI
methods are efficient, but can fail when probability distributions are complex.
Here, we develop a framework for constructing intermediate algorithms that
balance the strengths of both sampling and VI. Both approximate a probability
distribution using a mixture of simple component distributions: in sampling,
each component is a delta-function and is chosen stochastically, while in
standard VI a single component is chosen to minimize divergence. We show that
sampling and VI emerge as special cases of an optimization problem over a
mixing distribution, and intermediate approximations arise by varying a single
parameter. We then derive closed-form sampling dynamics over variational
parameters that stochastically build a mixture. Finally, we discuss how to
select the optimal compromise between sampling and VI given a computational
budget. This work is a first step towards a highly flexible yet simple family
of inference methods that combines the complementary strengths of sampling and
VI.
- Abstract（参考訳）: サンプリングと変分推論(VI)は相補的な強度を持つ近似推論の方法の2つの大きなファミリーである。
サンプリング法は任意の確率分布の近似に優れるが、非効率である。
VI法は効率的であるが、確率分布が複雑であれば失敗する。
本稿では,サンプリングとviの強度のバランスをとる中間アルゴリズムを構築するためのフレームワークを開発した。
どちらも単純な成分分布の混合を用いて確率分布を近似し、サンプリングでは各成分がデルタ関数で確率的に選択され、標準VIではばらつきを最小化するために単一の成分が選択される。
サンプリングとviは混合分布上の最適化問題の特別な場合として出現し、中間近似は1つのパラメータを変化させることで生じる。
次に,混合を確率的に構築する変動パラメータ上の閉形式サンプリングダイナミクスを導出する。
最後に、計算予算が与えられたサンプリングとVIの最適妥協を選択する方法について論じる。
この研究は、サンプリングとVIの相補的な強みを組み合わせた、非常に柔軟で単純な推論手法の族への第一歩である。
関連論文リスト
- Particle Semi-Implicit Variational Inference [2.555222031881788]
半単純変分推論(SIVI)は、カーネルと混合分布を利用して変分族を表現する。
既存のSIVI法は、暗黙の分布を用いて混合分布をパラメータ化し、難解な変動密度をもたらす。
本研究では, 最適混合分布を近似する実験手法を用いて, PVI (Particle Variational Inference) と呼ばれるSIVIの新しい手法を提案する。
論文 参考訳（メタデータ） (2024-06-30T10:21:41Z) - Weak Generative Sampler to Efficiently Sample Invariant Distribution of Stochastic Differential Equation [8.67581853745823]
現在のディープラーニングに基づく手法は、定常フォッカー-プランク方程式を解き、ディープニューラルネットワークの形で不変確率密度関数を決定する。
本稿では, 弱い生成サンプル(WGS)を用いて, 独立かつ同一に分布したサンプルを直接生成するフレームワークを提案する。
提案した損失関数はFokker-Planck方程式の弱い形式に基づいており、正規化フローを統合して不変分布を特徴づける。
論文 参考訳（メタデータ） (2024-05-29T16:41:42Z) - Equivariant Flow Matching with Hybrid Probability Transport [69.11915545210393]
拡散モデル (DM) は, 特徴量の多いジオメトリの生成に有効であることを示した。
DMは通常、非効率なサンプリング速度を持つ不安定な確率力学に悩まされる。
等変モデリングと安定化確率力学の両方の利点を享受する幾何フローマッチングを導入する。
論文 参考訳（メタデータ） (2023-12-12T11:13:13Z) - Robust scalable initialization for Bayesian variational inference with
multi-modal Laplace approximations [0.0]
フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。
本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
論文 参考訳（メタデータ） (2023-07-12T19:30:04Z) - Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
観測結果からサンプリング分布を学習する4つの方法を提案する。
実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
論文 参考訳（メタデータ） (2023-02-02T15:50:21Z) - Comparing two samples through stochastic dominance: a graphical approach [2.867517731896504]
実世界のシナリオでは非決定論的測定が一般的である。
推定累積分布関数に従って2つのサンプルを視覚的に比較するフレームワークを提案する。
論文 参考訳（メタデータ） (2022-03-15T13:37:03Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-22T06:26:29Z) - Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
まず確率分布をモデル化し,そのモデルからサンプリングする。
これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
論文 参考訳（メタデータ） (2021-10-20T12:25:22Z) - Sparse Communication via Mixed Distributions [29.170302047339174]
我々は「混合確率変数」の理論基盤を構築する。
本フレームワークは,混合確率変数の表現とサンプリングのための2つの戦略を提案する。
我々は、創発的な通信ベンチマークにおいて、両方のアプローチを実験する。
論文 参考訳（メタデータ） (2021-08-05T14:49:03Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳（メタデータ） (2020-07-08T11:35:47Z) - Distributed, partially collapsed MCMC for Bayesian Nonparametrics [68.5279360794418]
ディリクレ法やベータ・ベルヌーリ法のようなモデルでよく用いられる完全無作為測度は独立な部分測度に分解可能であるという事実を利用する。
この分解を用いて、潜在測度を、インスタンス化された成分のみを含む有限測度と、他のすべての成分を含む無限測度に分割する。
得られたハイブリッドアルゴリズムは、収束保証を犠牲にすることなくスケーラブルな推論を可能にすることができる。
論文 参考訳（メタデータ） (2020-01-15T23:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。