論文の概要: Semi-Implicit Variational Inference via Score Matching
- arxiv url: http://arxiv.org/abs/2308.10014v1
- Date: Sat, 19 Aug 2023 13:32:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-22 18:30:48.597205
- Title: Semi-Implicit Variational Inference via Score Matching
- Title(参考訳): スコアマッチングによる半振幅変分推論
- Authors: Longlin Yu, Cheng Zhang
- Abstract要約: 半単純変分推論(SIVI)は、変分家族の表現性を大いに豊かにする。
現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)を使用したり、高価なインナーループMCMCをトレーニングに使用する場合が多い。
スコアマッチングによる代替学習目標に基づくSIVI-SMを提案する。
- 参考スコア(独自算出の注目度): 9.654640791869431
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semi-implicit variational inference (SIVI) greatly enriches the
expressiveness of variational families by considering implicit variational
distributions defined in a hierarchical manner. However, due to the intractable
densities of variational distributions, current SIVI approaches often use
surrogate evidence lower bounds (ELBOs) or employ expensive inner-loop MCMC
runs for unbiased ELBOs for training. In this paper, we propose SIVI-SM, a new
method for SIVI based on an alternative training objective via score matching.
Leveraging the hierarchical structure of semi-implicit variational families,
the score matching objective allows a minimax formulation where the intractable
variational densities can be naturally handled with denoising score matching.
We show that SIVI-SM closely matches the accuracy of MCMC and outperforms
ELBO-based SIVI methods in a variety of Bayesian inference tasks.
- Abstract(参考訳): 半単純変分推論(SIVI)は、階層的な方法で定義された暗黙的な変分分布を考慮し、変分族の表現性を大いに強化する。
しかしながら、変動分布の難易度のため、現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)または高価なインナーループMCMCをトレーニングに使用することが多い。
本稿では,スコアマッチングによる代替訓練目標に基づく新しいsivi法であるsivi-smを提案する。
半単純変分族階層構造を利用して、スコアマッチングの目的は、難解な変分密度を自然にDenoising score matchingで扱うことができるミニマックスの定式化を可能にする。
SIVI-SM は MCMC の精度と密に一致し,様々なベイズ推論タスクにおいて ELBO ベースの SIVI 法より優れていることを示す。
関連論文リスト
- Hierarchical Semi-Implicit Variational Inference with Application to
Diffusion Model Acceleration [20.820242501141834]
半単純変分推論 (SIVI) を導入し, 解析的変分系列を拡大した。
我々は、より表現力のある多層構造を実現するためにSIVIを一般化するHSIVIと呼ばれる階層的半単純変分推論を提案する。
論文 参考訳(メタデータ) (2023-10-26T04:52:28Z) - Conformal Inference for Invariant Risk Minimization [12.049545417799125]
機械学習モデルの応用は、分布シフトの発生によって著しく阻害される可能性がある。
この問題を解決する一つの方法は、不変リスク最小化(IRM)のような不変学習を用いて不変表現を取得することである。
本稿では,不変表現に対する不確実性推定を記述するために,分布自由予測領域を得る手法を提案する。
論文 参考訳(メタデータ) (2023-05-22T03:48:38Z) - Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。
BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
論文 参考訳(メタデータ) (2022-08-22T09:07:02Z) - Low-Discrepancy Points via Energetic Variational Inference [5.936959130012709]
本稿では,カーネルの不一致を最小限に抑えて,決定論的変分推論手法を提案し,低差分点を生成する。
得られたアルゴリズムをEVI-MMDと命名し、対象分布が完全に特定された例を通して実演する。
その性能は、分布近似、数値積分、生成学習の応用における代替手法と比較して満足できる。
論文 参考訳(メタデータ) (2021-11-21T03:09:07Z) - Regularizing Variational Autoencoder with Diversity and Uncertainty
Awareness [61.827054365139645]
変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。
よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:58:13Z) - Efficient Semi-Implicit Variational Inference [65.07058307271329]
効率的でスケーラブルな半単純外挿 (SIVI) を提案する。
本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
論文 参考訳(メタデータ) (2021-01-15T11:39:09Z) - Semi-Supervised Learning with Variational Bayesian Inference and Maximum
Uncertainty Regularization [62.21716612888669]
半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。
第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。
第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
論文 参考訳(メタデータ) (2020-12-03T09:49:35Z) - Variational Inference with Continuously-Indexed Normalizing Flows [29.95927906900098]
連続インデクシングフロー(CIF)は,近年,様々な密度推定タスクにおけるベースライン正規化フローの改善を実現している。
そこで我々は,CIFを,表現性後部近似を定式化し,訓練するための補助的変分推論手法の一部として用いる方法を示す。
論文 参考訳(メタデータ) (2020-07-10T15:00:04Z) - Meta-Learning Divergences of Variational Inference [49.164944557174294]
変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。
本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。
提案手法はガウス混合分布近似の標準VIより優れていることを示す。
論文 参考訳(メタデータ) (2020-07-06T17:43:01Z) - Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。
所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。
実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
論文 参考訳(メタデータ) (2020-03-06T23:11:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。