論文の概要: Uphill Roads to Variational Tightness: Monotonicity and Monte Carlo Objectives

• arxiv url: http://arxiv.org/abs/2201.10989v1
• Date: Wed, 26 Jan 2022 15:04:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-27 16:53:47.479790
• Title: Uphill Roads to Variational Tightness: Monotonicity and Monte Carlo Objectives
• Title（参考訳）: 変動的タイトネスへの上り坂道--単調性とモンテカルロの目的-
• Authors: Pierre-Alexandre Mattei and Jes Frellsen
• Abstract要約: 重み付き変分推論(IWVI)の理論を再考する。 IWVIはモンテカルロ目標(MCO)として知られる新しい変分境界を用いる。 正確な意味では、負の相関が変動ギャップを減少させることを示す。
• 参考スコア（独自算出の注目度）: 21.154936422150683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We revisit the theory of importance weighted variational inference (IWVI), a promising strategy for learning latent variable models. IWVI uses new variational bounds, known as Monte Carlo objectives (MCOs), obtained by replacing intractable integrals by Monte Carlo estimates -- usually simply obtained via importance sampling. Burda, Grosse and Salakhutdinov (2016) showed that increasing the number of importance samples provably tightens the gap between the bound and the likelihood. Inspired by this simple monotonicity theorem, we present a series of nonasymptotic results that link properties of Monte Carlo estimates to tightness of MCOs. We challenge the rationale that smaller Monte Carlo variance leads to better bounds. We confirm theoretically the empirical findings of several recent papers by showing that, in a precise sense, negative correlation reduces the variational gap. We also generalise the original monotonicity theorem by considering non-uniform weights. We discuss several practical consequences of our theoretical results. Our work borrows many ideas and results from the theory of stochastic orders.
• Abstract（参考訳）: 我々は、潜在変数モデルを学習するための有望な戦略である重み付き変分推論(IWVI)の理論を再考する。 IWVIはモンテカルロ目標 (Monte Carlo objectives, MCOs) と呼ばれる新しい変分境界を用いており、モンテカルロ推定によって難解な積分を置き換えることで得られる。 Burda, Grosse and Salakhutdinov (2016) は、重要なサンプルの数が増加することで、境界と可能性の間のギャップが確実に狭まることを示した。 この単純な単調性定理に着想を得て、モンテカルロの性質をMCOの厳密性にリンクする一連の漸近的な結果を示す。 より小さなモンテカルロ分散がより良い境界をもたらすという理論に挑戦する。 本研究では,近年の論文における経験的知見を理論的に確認し,正の相関関係が変動ギャップを減少させることを示した。 また、元の単調性定理を非一様重みを考えることで一般化する。 理論的結果のいくつかの実践的な結果について論じる。 我々の仕事は確率的順序の理論から多くのアイデアと結果を借りている。

関連論文リスト

• Multiply-Robust Causal Change Attribution [15.501106533308798]
  我々は,各因果メカニズムの貢献度を定量化するために,回帰法と再重み付け法を組み合わせた新しい推定方法を開発した。 本手法はモンテカルロシミュレーションにおいて優れた性能を示し,その有効性を示す。
  論文  参考訳（メタデータ） (2024-04-12T22:57:01Z)
• Variational Inference for GARCH-family Models [84.84082555964086]
  変分推論は、機械学習モデルにおけるベイズ推論の堅牢なアプローチである。 本研究では,変分推論がベイズ学習の魅力的な,極めてよく校正された,競争力のある方法であることを示す。
  論文  参考訳（メタデータ） (2023-10-05T10:21:31Z)
• Stochastic automatic differentiation for Monte Carlo processes [1.1279808969568252]
  自動微分法(AD)のモンテカルロプロセスへの拡張について検討する。 ハミルトン的アプローチは、再重み付け手法の変数の変化と解釈できることを示す。
  論文  参考訳（メタデータ） (2023-07-28T08:59:01Z)
• When can Regression-Adjusted Control Variates Help? Rare Events, Sobolev Embedding and Minimax Optimality [10.21792151799121]
  機械学習に基づく推定器を用いてモンテカルロサンプリングの分散を緩和できることが示される。 希少かつ極端な事象が存在する場合、モンテカルロアルゴリズムの切り詰められたバージョンは、最小値の最適速度を達成することができる。
  論文  参考訳（メタデータ） (2023-05-25T23:09:55Z)
• Quasi-Monte Carlo Graph Random Features [38.762964164013226]
  グラフランダム特徴量(GRF)の精度向上のための新しいメカニズムを提案する。 提案手法は, アルゴリズムのランダムウォークの長さ間の負の相関を, アンチセティック終端を付与することによって引き起こす。 これらの準モンテカルロ GRF の性質に関する強い理論的保証を得る。
  論文  参考訳（メタデータ） (2023-05-21T14:12:02Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Recursive Monte Carlo and Variational Inference with Auxiliary Variables [64.25762042361839]
  再帰的補助変数推論(RAVI)はフレキシブルな提案を利用するための新しいフレームワークである。 RAVIは、表現力のある表現力のある家族を推論するためのいくつかの既存の手法を一般化し、統一する。 RAVIの設計枠組みと定理を,SalimansらによるMarkov Chain Variational Inferenceを用いて解析し,改良することにより示す。
  論文  参考訳（メタデータ） (2022-03-05T23:52:40Z)
• Deconfounded Score Method: Scoring DAGs with Dense Unobserved Confounding [101.35070661471124]
  本研究では,観測データ分布に特徴的フットプリントが残っており,突発的・因果的影響を解消できることを示す。 汎用ソルバで実装し,高次元問題へのスケールアップが可能なスコアベース因果検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-28T11:07:59Z)
• Annealed Flow Transport Monte Carlo [91.20263039913912]
  Annealed Flow Transport (AFT) built on Annealed Importance Smpling (AIS) and Sequential Monte Carlo (SMC) AFTは、連続したターゲットに向かって粒子をプッシュするために順次学習されるNFに依存します。 AFTの人口バージョンの連続時間スケーリング限界は、Feynman--Kac測度によって与えられることを示した。
  論文  参考訳（メタデータ） (2021-02-15T12:05:56Z)
• The variance of relative surprisal as single-shot quantifier [0.0]
  我々は、(相対的な)前提条件が、単発設定における量子状態のペア間の近似状態遷移に十分な条件を与えることを示す。 さらに、(相対的な)エントロピーの、単純で物理的に魅力的な単一ショットのキャラクタリゼーションを導出する。
  論文  参考訳（メタデータ） (2020-09-17T16:06:54Z)
• Scalable Control Variates for Monte Carlo Methods via Stochastic Optimization [62.47170258504037]
  本稿では,制御,カーネル,ニューラルネットワークを用いた既存のアプローチを包含し,一般化するフレームワークを提案する。 新たな理論的結果は、達成可能な分散還元に関する洞察を与えるために提示され、ベイズ推定への応用を含む経験的評価が支持される。
  論文  参考訳（メタデータ） (2020-06-12T22:03:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。