論文の概要: Kernel Semi-Implicit Variational Inference

• arxiv url: http://arxiv.org/abs/2405.18997v1
• Date: Wed, 29 May 2024 11:21:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 17:30:13.938887
• Title: Kernel Semi-Implicit Variational Inference
• Title（参考訳）: カーネル半振幅変分推論
• Authors: Ziheng Cheng, Longlin Yu, Tianyu Xie, Shiyue Zhang, Cheng Zhang,
• Abstract要約: 半単純変分推論(SIVI)は、半単純分布を階層的に定義した従来の変分族を拡張している。 SIVIの最近の進歩はSIVI-SMと呼ばれ、ミニマックスの定式化によって抽出可能な別のスコアマッチングの目的を利用している。 我々は、カーネルトリックによる低レベル最適化を不要とするSIVI-SMの亜種であるカーネルSIVI(KSIVI)を提案する。
• 参考スコア（独自算出の注目度）: 27.61976547543748
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Semi-implicit variational inference (SIVI) extends traditional variational families with semi-implicit distributions defined in a hierarchical manner. Due to the intractable densities of semi-implicit distributions, classical SIVI often resorts to surrogates of evidence lower bound (ELBO) that would introduce biases for training. A recent advancement in SIVI, named SIVI-SM, utilizes an alternative score matching objective made tractable via a minimax formulation, albeit requiring an additional lower-level optimization. In this paper, we propose kernel SIVI (KSIVI), a variant of SIVI-SM that eliminates the need for lower-level optimization through kernel tricks. Specifically, we show that when optimizing over a reproducing kernel Hilbert space (RKHS), the lower-level problem has an explicit solution. This way, the upper-level objective becomes the kernel Stein discrepancy (KSD), which is readily computable for stochastic gradient descent due to the hierarchical structure of semi-implicit variational distributions. An upper bound for the variance of the Monte Carlo gradient estimators of the KSD objective is derived, which allows us to establish novel convergence guarantees of KSIVI. We demonstrate the effectiveness and efficiency of KSIVI on both synthetic distributions and a variety of real data Bayesian inference tasks.
• Abstract（参考訳）: 半単純変分推論(SIVI)は、半単純分布を階層的に定義した従来の変分族を拡張している。 半単純分布の難解な密度のため、古典的なSIVIは、しばしば訓練のためのバイアスをもたらす証拠の下限(ELBO)のサロゲートを利用する。 SIVIの最近の進歩はSIVI-SMと呼ばれ、より低レベルな最適化を必要とするが、ミニマックスの定式化によってトラクタブルなスコアマッチングの目的を利用している。 本稿では,カーネルトリックによる低レベル最適化を不要としたSIVI-SMの派生型であるカーネルSIVI(KSIVI)を提案する。 具体的には、再生カーネルヒルベルト空間 (RKHS) を最適化する場合、下層問題は明示的な解を持つことを示す。 このようにして、上層の目的は、半単純変分分布の階層構造による確率勾配降下に容易に計算できるカーネル・スタイン差分(KSD)となる。 KSD目標のモンテカルロ勾配推定器の分散に対する上限が導出され、KSIVIの新たな収束保証を確立することができる。 合成分布と実データベイズ推定タスクにおけるKSIVIの有効性と有効性を示す。

関連論文リスト

• A Fresh Look at Generalized Category Discovery through Non-negative Matrix Factorization [83.12938977698988]
  Generalized Category Discovery (GCD) は、ラベル付きベースデータを用いて、ベース画像と新規画像の両方を分類することを目的としている。 現在のアプローチでは、コサイン類似性に基づく共起行列 $barA$ の固有の最適化に不適切に対処している。 本稿では,これらの欠陥に対処するNon-Negative Generalized Category Discovery (NN-GCD) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T07:24:11Z)
• A Trust-Region Method for Graphical Stein Variational Inference [3.5516599670943774]
  スタイン変分法 (SVI) は、サンプル位置を情報理論尺度に共同最適化してサンプルセットを生成するサンプルベースの近似推論手法である。 本稿では,これらの課題に対処する新しい信頼条件付きアプローチを提案する。
  論文  参考訳（メタデータ） (2024-10-21T16:59:01Z)
• Particle Semi-Implicit Variational Inference [2.555222031881788]
  半単純変分推論(SIVI)は、カーネルと混合分布を利用して変分族を表現する。 既存のSIVI法は、暗黙の分布を用いて混合分布をパラメータ化し、難解な変動密度をもたらす。 本研究では, 最適混合分布を近似する実験手法を用いて, PVI (Particle Variational Inference) と呼ばれるSIVIの新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-30T10:21:41Z)
• Taming Nonconvex Stochastic Mirror Descent with General Bregman Divergence [25.717501580080846]
  本稿では、現代の非最適化設定における勾配フォワードミラー(SMD)の収束を再考する。 トレーニングのために,線形ネットワーク問題に対する確率収束アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-27T17:56:49Z)
• Hierarchical Semi-Implicit Variational Inference with Application to Diffusion Model Acceleration [20.820242501141834]
  半単純変分推論 (SIVI) を導入し, 解析的変分系列を拡大した。 我々は、より表現力のある多層構造を実現するためにSIVIを一般化するHSIVIと呼ばれる階層的半単純変分推論を提案する。
  論文  参考訳（メタデータ） (2023-10-26T04:52:28Z)
• Semi-Implicit Variational Inference via Score Matching [9.654640791869431]
  半単純変分推論(SIVI)は、変分家族の表現性を大いに豊かにする。 現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)を使用したり、高価なインナーループMCMCをトレーニングに使用する場合が多い。 スコアマッチングによる代替学習目標に基づくSIVI-SMを提案する。
  論文  参考訳（メタデータ） (2023-08-19T13:32:54Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• A Note on Optimizing Distributions using Kernel Mean Embeddings [94.96262888797257]
  カーネル平均埋め込みは、その無限次元平均埋め込みによる確率測度を表す。 カーネルが特徴的である場合、カーネルの総和密度を持つ分布は密度が高いことを示す。 有限サンプル設定でそのような分布を最適化するアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2021-06-18T08:33:45Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。