論文の概要: Semi-Implicit Variational Inference via Score Matching

• arxiv url: http://arxiv.org/abs/2308.10014v1
• Date: Sat, 19 Aug 2023 13:32:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-22 18:30:48.597205
• Title: Semi-Implicit Variational Inference via Score Matching
• Title（参考訳）: スコアマッチングによる半振幅変分推論
• Authors: Longlin Yu, Cheng Zhang
• Abstract要約: 半単純変分推論(SIVI)は、変分家族の表現性を大いに豊かにする。 現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)を使用したり、高価なインナーループMCMCをトレーニングに使用する場合が多い。 スコアマッチングによる代替学習目標に基づくSIVI-SMを提案する。
• 参考スコア（独自算出の注目度）: 9.654640791869431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-implicit variational inference (SIVI) greatly enriches the expressiveness of variational families by considering implicit variational distributions defined in a hierarchical manner. However, due to the intractable densities of variational distributions, current SIVI approaches often use surrogate evidence lower bounds (ELBOs) or employ expensive inner-loop MCMC runs for unbiased ELBOs for training. In this paper, we propose SIVI-SM, a new method for SIVI based on an alternative training objective via score matching. Leveraging the hierarchical structure of semi-implicit variational families, the score matching objective allows a minimax formulation where the intractable variational densities can be naturally handled with denoising score matching. We show that SIVI-SM closely matches the accuracy of MCMC and outperforms ELBO-based SIVI methods in a variety of Bayesian inference tasks.
• Abstract（参考訳）: 半単純変分推論(SIVI)は、階層的な方法で定義された暗黙的な変分分布を考慮し、変分族の表現性を大いに強化する。 しかしながら、変動分布の難易度のため、現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)または高価なインナーループMCMCをトレーニングに使用することが多い。 本稿では,スコアマッチングによる代替訓練目標に基づく新しいsivi法であるsivi-smを提案する。 半単純変分族階層構造を利用して、スコアマッチングの目的は、難解な変分密度を自然にDenoising score matchingで扱うことができるミニマックスの定式化を可能にする。 SIVI-SM は MCMC の精度と密に一致し,様々なベイズ推論タスクにおいて ELBO ベースの SIVI 法より優れていることを示す。

関連論文リスト

• Particle Semi-Implicit Variational Inference [2.555222031881788]
  半単純変分推論(SIVI)は、カーネルと混合分布を利用して変分族を表現する。 既存のSIVI法は、暗黙の分布を用いて混合分布をパラメータ化し、難解な変動密度をもたらす。 本研究では, 最適混合分布を近似する実験手法を用いて, PVI (Particle Variational Inference) と呼ばれるSIVIの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T10:21:41Z)
• Kernel Semi-Implicit Variational Inference [27.61976547543748]
  半単純変分推論(SIVI)は、半単純分布を階層的に定義した従来の変分族を拡張している。 SIVIの最近の進歩はSIVI-SMと呼ばれ、ミニマックスの定式化によって抽出可能な別のスコアマッチングの目的を利用している。 我々は、カーネルトリックによる低レベル最適化を不要とするSIVI-SMの亜種であるカーネルSIVI(KSIVI)を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:21:25Z)
• Hierarchical Semi-Implicit Variational Inference with Application to Diffusion Model Acceleration [20.820242501141834]
  半単純変分推論 (SIVI) を導入し, 解析的変分系列を拡大した。 我々は、より表現力のある多層構造を実現するためにSIVIを一般化するHSIVIと呼ばれる階層的半単純変分推論を提案する。
  論文  参考訳（メタデータ） (2023-10-26T04:52:28Z)
• Conformal Inference for Invariant Risk Minimization [12.049545417799125]
  機械学習モデルの応用は、分布シフトの発生によって著しく阻害される可能性がある。 この問題を解決する一つの方法は、不変リスク最小化(IRM)のような不変学習を用いて不変表現を取得することである。 本稿では,不変表現に対する不確実性推定を記述するために,分布自由予測領域を得る手法を提案する。
  論文  参考訳（メタデータ） (2023-05-22T03:48:38Z)
• An Information-Theoretic Perspective on Variance-Invariance-Covariance Regularization [52.44068740462729]
  我々は、VICRegの目的に関する情報理論的な視点を示す。 我々は、VICRegの一般化を導出し、下流タスクに固有の利点を明らかにした。 既存のSSL技術よりも優れた情報理論の原理から派生したSSL手法のファミリーを紹介する。
  論文  参考訳（メタデータ） (2023-03-01T16:36:25Z)
• Meta-Causal Feature Learning for Out-of-Distribution Generalization [71.38239243414091]
  本稿では,協調タスク生成モジュール (BTG) とメタ因果特徴学習モジュール (MCFL) を含む,バランス付きメタ因果学習器 (BMCL) を提案する。 BMCLは、分類のためのクラス不変の視覚領域を効果的に識別し、最先端の手法の性能を向上させるための一般的なフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-08-22T09:07:02Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization [62.21716612888669]
  半教師付き学習(SSL)を改善するための2つの一般的な方法を提案する。 第一に、重量摂動(WP)を既存のCR(Consistency regularization)ベースの手法に統合する。 第2の手法は「最大不確実性正規化(MUR)」と呼ばれる新しい整合性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-03T09:49:35Z)
• Meta-Learning Divergences of Variational Inference [49.164944557174294]
  変分推論(VI)は、近似ベイズ推論において重要な役割を果たす。 本稿では,興味ある課題に適した分散度を学習するためのメタ学習アルゴリズムを提案する。 提案手法はガウス混合分布近似の標準VIより優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-06T17:43:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。