論文の概要: SIXO: Smoothing Inference with Twisted Objectives
- arxiv url: http://arxiv.org/abs/2206.05952v1
- Date: Mon, 13 Jun 2022 07:46:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:03:14.823934
- Title: SIXO: Smoothing Inference with Twisted Objectives
- Title(参考訳): SIXO: ツイストオブジェクトによるスムーズな推論
- Authors: Dieterich Lawson, Allan Ravent\'os, Andrew Warrington, Scott Linderman
- Abstract要約: SIXOは平滑な分布を近似する対象を学習する手法である。
次に、これらの学習対象とSMCを用いて、モデル学習と提案学習の変動目標を定義する。
- 参考スコア(独自算出の注目度): 8.049531918823758
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sequential Monte Carlo (SMC) is an inference algorithm for state space models
that approximates the posterior by sampling from a sequence of intermediate
target distributions. The target distributions are often chosen to be the
filtering distributions, but these ignore information from future observations,
leading to practical and theoretical limitations in inference and model
learning. We introduce SIXO, a method that instead learns targets that
approximate the smoothing distributions, incorporating information from all
observations. The key idea is to use density ratio estimation to fit functions
that warp the filtering distributions into the smoothing distributions. We then
use SMC with these learned targets to define a variational objective for model
and proposal learning. SIXO yields provably tighter log marginal lower bounds
and offers significantly more accurate posterior inferences and parameter
estimates in a variety of domains.
- Abstract(参考訳): シークエンシャルモンテカルロ (Sequential Monte Carlo, SMC) は、状態空間モデルに対する推論アルゴリズムであり、中間ターゲット分布の列からサンプリングすることで後部を近似する。
対象の分布はしばしばフィルタリング分布として選択されるが、これらは将来の観測からの情報を無視し、推論とモデル学習の実践的および理論的制限をもたらす。
SIXOは、スムーズな分布を近似するターゲットを学習し、全ての観測結果から情報を取り入れる手法である。
重要なアイデアは、フィルタ分布を平滑化分布に警告する関数を適合させるために密度比推定を使用することである。
次に、これらの学習対象とSMCを用いて、モデルと提案学習の変動目標を定義する。
SIXO は対数境界の下限を確実に狭くし、様々な領域でより正確な後方推測とパラメータ推定を提供する。
関連論文リスト
- Differentiable Particle Filtering using Optimal Placement Resampling [0.0]
低分散推定を得るためには、良い提案分布とよい再サンプリング方式が不可欠である。
本研究では,経験的累積分布関数から決定論的サンプリングを行うことにより,微分可能な再サンプリング手法を提案する。
論文 参考訳(メタデータ) (2024-02-26T15:09:56Z) - On diffusion models for amortized inference: Benchmarking and improving
stochastic control and sampling [96.7808454149545]
本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。
シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。
我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
論文 参考訳(メタデータ) (2024-02-07T18:51:49Z) - Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である
DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文 参考訳(メタデータ) (2023-11-01T12:17:05Z) - Learning Distributions via Monte-Carlo Marginalization [9.131712404284876]
サンプルから抽出可能な分布を学習する新しい手法を提案する。
モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。
提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。
論文 参考訳(メタデータ) (2023-08-11T19:08:06Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Diffusion Models are Minimax Optimal Distribution Estimators [49.47503258639454]
拡散モデリングの近似と一般化能力について、初めて厳密な分析を行った。
実密度関数がベソフ空間に属し、経験値整合損失が適切に最小化されている場合、生成したデータ分布は、ほぼ最小の最適推定値が得られることを示す。
論文 参考訳(メタデータ) (2023-03-03T11:31:55Z) - Learning with Stochastic Orders [25.795107089736295]
高次元分布の学習は、しばしば、積分確率メトリクス(IPMs)による明示的な可能性モデリングまたは暗黙的なモデリングによって行われる。
我々はIPMsationalの代替として使用できる確率測度間のChoquet-Toland距離を導入する。
また、変動支配基準(VDC)を導入し、支配制約のある確率測度を学習する。
論文 参考訳(メタデータ) (2022-05-27T00:08:03Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Gaussian Graphical Models as an Ensemble Method for Distributed Gaussian
Processes [8.4159776055506]
我々はガウスの専門家の予測をガウス図形モデル(GGM)により集約する新しいアプローチを提案する。
まず、予測最大化(EM)アルゴリズムを用いて、潜伏変数と観測変数の合同分布を推定する。
我々の新しい手法は他の最先端のDGP手法よりも優れている。
論文 参考訳(メタデータ) (2022-02-07T15:22:56Z) - Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。
粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
論文 参考訳(メタデータ) (2021-10-06T16:58:34Z) - The Bayesian Method of Tensor Networks [1.7894377200944511]
ネットワークのベイズ的枠組みを2つの観点から検討する。
本研究では,2次元合成データセットにおけるモデルパラメータと決定境界を可視化することにより,ネットワークのベイズ特性について検討する。
論文 参考訳(メタデータ) (2021-01-01T14:59:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。