Fugu-MT 論文翻訳(概要): VISA: Variational Inference with Sequential Sample-Average Approximations

論文の概要: VISA: Variational Inference with Sequential Sample-Average Approximations

arxiv url: http://arxiv.org/abs/2403.09429v2
Date: Fri, 15 Mar 2024 09:03:41 GMT
ステータス: 処理完了
システム内更新日: 2024-03-18 10:49:12.365623
Title: VISA: Variational Inference with Sequential Sample-Average Approximations
Title（参考訳）: VISA:逐次サンプル平均近似による変分推論
Authors: Heiko Zimmermann, Christian A. Naesseth, Jan-Willem van de Meent,
Abstract要約: 逐次サンプル平均近似(VISA)を用いた変分推論を提案する。 VISAは、サンプル平均近似を用いて、重要重み付きフォワード-KL変量推論を拡張する。我々は,VISAが標準重み付きフォワードKL変分推定に匹敵する近似精度を達成できることを実証した。
参考スコア（独自算出の注目度）: 7.792333134503654
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We present variational inference with sequential sample-average approximation (VISA), a method for approximate inference in computationally intensive models, such as those based on numerical simulations. VISA extends importance-weighted forward-KL variational inference by employing a sequence of sample-average approximations, which are considered valid inside a trust region. This makes it possible to reuse model evaluations across multiple gradient steps, thereby reducing computational cost. We perform experiments on high-dimensional Gaussians, Lotka-Volterra dynamics, and a Pickover attractor, which demonstrate that VISA can achieve comparable approximation accuracy to standard importance-weighted forward-KL variational inference with computational savings of a factor two or more for conservatively chosen learning rates.
Abstract（参考訳）: 本稿では,数値シミュレーションなどの計算集約モデルにおける近似推論手法として,逐次サンプル平均近似(VISA)を用いた変分推論を提案する。 VISAは、信頼領域内で有効と考えられるサンプル平均近似を用いて、重み付けされたフォワード-KL変量推論を拡張する。これにより、複数の勾配ステップでモデル評価を再利用し、計算コストを削減できる。我々は,高次元ガウス,ロトカ・ボルテラダイナミクス,およびピックオーバーアトラクタの実験を行い,VISAが標準重要度重み付きフォワード-KL変量推論に匹敵する近似精度を達成できることを示す。

関連論文リスト

Statistical Mechanics Calculations Using Variational Autoregressive Networks and Quantum Annealing [0.552480439325792]
近年,変分自己回帰ネットワーク(VAN)を用いた近似法が提案されている。本研究では, 量子アニール装置から得られた試料をVANと併用した新しい近似法を提案する。有限サイズシェリントン・カークパトリックモデルに適用すると,従来のVAN手法と比較して精度が向上することを示す。
論文参考訳（メタデータ） (2024-04-30T05:41:49Z)
Forward $\chi^2$ Divergence Based Variational Importance Sampling [2.841087763205822]
本稿では,ログ類似度を直接推定し,最大化する新しい変動重要度サンプリング(VIS)手法を提案する。我々は、混合モデル、変分自動エンコーダ、部分的に観測可能な一般化線形モデルなど、様々な一般的な潜在変数モデルにVISを適用する。
論文参考訳（メタデータ） (2023-11-04T21:46:28Z)
Diffusion models for probabilistic programming [56.47577824219207]
拡散モデル変分推論(DMVI)は確率型プログラミング言語(PPL)における自動近似推論手法である DMVIは実装が容易で、例えば正規化フローを用いた変分推論の欠点を伴わずに、PPLでヘイズルフリー推論が可能であり、基礎となるニューラルネットワークモデルに制約を課さない。
論文参考訳（メタデータ） (2023-11-01T12:17:05Z)
Bayesian Hierarchical Models for Counterfactual Estimation [12.159830463756341]
本稿では,多種多様なカウンターファクトの集合を推定する確率的パラダイムを提案する。摂動を事前分布関数によるランダム変数として扱う。収束特性の優れた勾配ベースサンプリング器は、後方サンプルを効率的に計算する。
論文参考訳（メタデータ） (2023-01-21T00:21:11Z)
Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文参考訳（メタデータ） (2022-02-23T06:11:49Z)
A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
論文参考訳（メタデータ） (2021-10-16T15:54:01Z)
Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文参考訳（メタデータ） (2021-06-30T11:00:24Z)
MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文参考訳（メタデータ） (2021-06-03T12:59:16Z)
Score Matched Conditional Exponential Families for Likelihood-Free Inference [0.0]
Likelihood-Free Inference (LFI) はモデルからのシミュレーションに依存する。モデルからパラメータシミュレーションペアを観測に基づいて独立に生成する。重みをスコアマッチングで調整したニューラルネットワークを用いて,条件付き指数関数的家族度近似を学習する。
論文参考訳（メタデータ） (2020-12-20T11:57:30Z)
Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models [19.07718284287928]
推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
論文参考訳（メタデータ） (2020-05-28T13:50:08Z)
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
論文参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。