論文の概要: A Kernel Approach for Semi-implicit Variational Inference

• arxiv url: http://arxiv.org/abs/2601.12023v1
• Date: Sat, 17 Jan 2026 12:06:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.423789
• Title: A Kernel Approach for Semi-implicit Variational Inference
• Title（参考訳）: 半単純変分推論のためのカーネルアプローチ
• Authors: Longlin Yu, Ziheng Cheng, Shiyue Zhang, Cheng Zhang,
• Abstract要約: 半単純変分推論(SIVI)は階層的半単純分布を通して変分族を表現する。 SIVI-SM(SIVI-SM)に対する最近のスコアマッチング手法は、ミニマックスの定式化によってこの問題に対処している。 本稿では,カーネル半単純変分推論(KSIVI)を提案する。
• 参考スコア（独自算出の注目度）: 21.789560144560127
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semi-implicit variational inference (SIVI) enhances the expressiveness of variational families through hierarchical semi-implicit distributions, but the intractability of their densities makes standard ELBO-based optimization biased. Recent score-matching approaches to SIVI (SIVI-SM) address this issue via a minimax formulation, at the expense of an additional lower-level optimization problem. In this paper, we propose kernel semi-implicit variational inference (KSIVI), a principled and tractable alternative that eliminates the lower-level optimization by leveraging kernel methods. We show that when optimizing over a reproducing kernel Hilbert space, the lower-level problem admits an explicit solution, reducing the objective to the kernel Stein discrepancy (KSD). Exploiting the hierarchical structure of semi-implicit distributions, the resulting KSD objective can be efficiently optimized using stochastic gradient methods. We establish optimization guarantees via variance bounds on Monte Carlo gradient estimators and derive statistical generalization bounds of order $\tilde{\mathcal{O}}(1/\sqrt{n})$. We further introduce a multi-layer hierarchical extension that improves expressiveness while preserving tractability. Empirical results on synthetic and real-world Bayesian inference tasks demonstrate the effectiveness of KSIVI.
• Abstract（参考訳）: 半単純変分推論(SIVI)は階層的な半単純分布を通して変動族を表現するが、それらの密度の難易度は標準ELBOに基づく最適化のバイアスを与える。 SIVI (SIVI-SM) に対する最近のスコアマッチング手法は、より低レベルな最適化問題を犠牲にして、ミニマックスの定式化によってこの問題に対処している。 本稿では,カーネル手法を利用した低レベル最適化を不要とした,原理的かつトラクタブルなカーネル半単純変分推論(KSIVI)を提案する。 再現されたカーネル・ヒルベルト空間を最適化する場合、低レベル問題は明示的な解を認め、カーネル・スタイン差分(KSD)に対する目的を減少させる。 半単純分布の階層構造を爆発させ、結果として得られるKSDの目的を確率勾配法を用いて効率的に最適化することができる。 モンテカルロ勾配推定器上の分散境界による最適化保証を確立し、次数 $\tilde{\mathcal{O}}(1/\sqrt{n})$ の統計的一般化境界を導出する。 さらに,トラクタビリティを保ちながら表現性を向上する多層階層拡張を導入する。 実世界のベイズ推論タスクにおける実験結果から,KSIVIの有効性が示された。

関連論文リスト

• Safeguarded Stochastic Polyak Step Sizes for Non-smooth Optimization: Robust Performance Without Small (Sub)Gradients [16.39606116102731]
  適応型ニューラルネットワークを提供するPolyakの消滅は、勾配降下(SGD)にとって有望な選択であることが証明された。 ディープネットワークに関する総合的な実験は、タイトな凸ネットワーク理論を腐食させる。 本研究では、強い仮定を必要とせず、非滑らかな最適化に対して厳密な収束保証を提供する。
  論文  参考訳（メタデータ） (2025-12-02T02:24:32Z)
• Towards a Unified Analysis of Neural Networks in Nonparametric Instrumental Variable Regression: Optimization and Generalization [66.08522228989634]
  非パラメトリックインスツルメンタル変数回帰(NPIV)における2段階最小二乗法(2SLS)アプローチのためのニューラルネットワークの最初の大域収束結果を確立する。 これは平均場ランゲヴィンダイナミクス(MFLD)を通して持ち上げられた視点を採用することで達成される。
  論文  参考訳（メタデータ） (2025-11-18T17:51:17Z)
• Neural Optimal Transport Meets Multivariate Conformal Prediction [58.43397908730771]
  条件付きベクトル回帰(CVQR)のためのフレームワークを提案する。 CVQRは、ニューラルネットワークの最適輸送と量子化された最適化を組み合わせて、予測に適用する。
  論文  参考訳（メタデータ） (2025-09-29T19:50:19Z)
• Semi-Implicit Variational Inference via Kernelized Path Gradient Descent [12.300415631357406]
  Kullback-Leibler分散を用いたトレーニングは、高次元設定における高分散とバイアスのために難しい場合がある。 非パラメトリックな平滑化によるトレーニングを安定化するカーネル化されたKL分散推定器を提案する。 関数空間における我々の手法のバイアスは良性であり、より安定で効率的な最適化をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T14:34:37Z)
• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• Direct Distributional Optimization for Provable Alignment of Diffusion Models [39.048284342436666]
  分布最適化の観点から拡散モデルの新しいアライメント手法を提案する。 まず、確率分布に対する一般正規化損失最小化として問題を定式化する。 本研究では,Doob の $h$-transform 技術を用いてスコア関数を近似することにより,学習した分布からのサンプリングを可能にする。
  論文  参考訳（メタデータ） (2025-02-05T07:35:15Z)
• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Kernel Semi-Implicit Variational Inference [27.61976547543748]
  半単純変分推論(SIVI)は、半単純分布を階層的に定義した従来の変分族を拡張している。 SIVIの最近の進歩はSIVI-SMと呼ばれ、ミニマックスの定式化によって抽出可能な別のスコアマッチングの目的を利用している。 我々は、カーネルトリックによる低レベル最適化を不要とするSIVI-SMの亜種であるカーネルSIVI(KSIVI)を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:21:25Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• The Strength of Nesterov's Extrapolation in the Individual Convergence of Nonsmooth Optimization [0.0]
  ネステロフの外挿は、非滑らかな問題に対して勾配降下法の個人収束を最適にする強さを持つことを証明している。 提案手法は,設定の非滑らかな損失を伴って正規化学習タスクを解くためのアルゴリズムの拡張である。 本手法は,大規模な1-正規化ヒンジロス学習問題の解法として有効である。
  論文  参考訳（メタデータ） (2020-06-08T03:35:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。