論文の概要: Recursive Monte Carlo and Variational Inference with Auxiliary Variables

• arxiv url: http://arxiv.org/abs/2203.02836v1
• Date: Sat, 5 Mar 2022 23:52:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 09:58:59.317942
• Title: Recursive Monte Carlo and Variational Inference with Auxiliary Variables
• Title（参考訳）: 補助変数による再帰的モンテカルロと変分推論
• Authors: Alexander K. Lew, Marco Cusumano-Towner, and Vikash K. Mansinghka
• Abstract要約: 再帰的補助変数推論(RAVI)はフレキシブルな提案を利用するための新しいフレームワークである。 RAVIは、表現力のある表現力のある家族を推論するためのいくつかの既存の手法を一般化し、統一する。 RAVIの設計枠組みと定理を,SalimansらによるMarkov Chain Variational Inferenceを用いて解析し,改良することにより示す。
• 参考スコア（独自算出の注目度）: 64.25762042361839
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A key challenge in applying Monte Carlo and variational inference (VI) is the design of proposals and variational families that are flexible enough to closely approximate the posterior, but simple enough to admit tractable densities and variational bounds. This paper presents recursive auxiliary-variable inference (RAVI), a new framework for exploiting flexible proposals, for example based on involved simulations or stochastic optimization, within Monte Carlo and VI algorithms. The key idea is to estimate intractable proposal densities via meta-inference: additional Monte Carlo or variational inference targeting the proposal, rather than the model. RAVI generalizes and unifies several existing methods for inference with expressive approximating families, which we show correspond to specific choices of meta-inference algorithm, and provides new theory for analyzing their bias and variance. We illustrate RAVI's design framework and theorems by using them to analyze and improve upon Salimans et al. (2015)'s Markov Chain Variational Inference, and to design a novel sampler for Dirichlet process mixtures, achieving state-of-the-art results on a standard benchmark dataset from astronomy and on a challenging data-cleaning task with Medicare hospital data.
• Abstract（参考訳）: モンテカルロと変分推論(VI)を適用する上での鍵となる課題は、後部を正確に近似できるほど柔軟だが、トラクタブル密度と変分境界を許容できるほど単純である提案と変分族の設計である。 本稿では、モンテカルロとVIのアルゴリズムにおいて、フレキシブルな提案(例えば、関連するシミュレーションや確率最適化に基づく)を利用するための新しいフレームワークである再帰的補助変数推論(RAVI)を提案する。 重要なアイデアは、メタ参照によって難解な提案密度を見積もることである: モデルではなく、提案をターゲットとしたモンテカルロや変分推論の追加。 RAVIは、メタ推論アルゴリズムの特定の選択に対応する表現的近似族を用いた推論法を一般化し、統一し、それらのバイアスと分散を解析するための新しい理論を提供する。 RAVIの設計フレームワークと定理を,Salimans et al. (2015) の Markov Chain Variational Inference を用いて分析・改善し,Drichlet プロセス混合物の新たなサンプルを設計し,天文学からの標準ベンチマークデータセットとメディケア病院データによる挑戦的なデータクリーニングタスクに基づいて実現した。

関連論文リスト

• BI-EqNO: Generalized Approximate Bayesian Inference with an Equivariant Neural Operator Framework [9.408644291433752]
  一般化されたベイズ近似のための同変ニューラル演算系であるBI-EqNOを導入する。 BI-EqNOは、データ駆動トレーニングを通じて、条件付き観測データに基づいて事前を後方に変換する。 BI-EqNO の応用例は,(1) 回帰のための一般化ガウス過程 (gGP) と(2) 逐次データ同化のためのアンサンブルニューラルフィルタ (EnNF) の2つである。
  論文  参考訳（メタデータ） (2024-10-21T18:39:16Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  複数モーダルな)自己教師付き表現学習のための連続領域における識別確率モデル問題について検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• Markov chain Monte Carlo without evaluating the target: an auxiliary variable approach [9.426953273977496]
  マルコフ連鎖モンテカルロアルゴリズムは単純な共通手順で統一することができる。 我々は,新たなフレームワークの理論を開発し,それを既存のアルゴリズムに適用し,その結果を簡素化し拡張する。 このフレームワークからいくつかの新しいアルゴリズムが登場し、合成データセットと実データセットの両方でパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2024-06-07T20:06:23Z)
• Variational Inference for GARCH-family Models [84.84082555964086]
  変分推論は、機械学習モデルにおけるベイズ推論の堅牢なアプローチである。 本研究では,変分推論がベイズ学習の魅力的な,極めてよく校正された,競争力のある方法であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T10:21:31Z)
• Monte Carlo inference for semiparametric Bayesian regression [5.488491124945426]
  本稿では、未知の変換とすべての回帰モデルパラメータの結合後部推論のための単純で汎用的で効率的な戦略を提案する。 これは(1)複数のモデルの不特定性を含む一般条件下での合同後続一貫性を提供し、(2)変換に対する効率的なモンテカルロ(マルコフ連鎖でないモンテカルロ)の推論と重要な特殊ケースに対する全てのパラメータを提供する。
  論文  参考訳（メタデータ） (2023-06-08T18:42:42Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。