論文の概要: Denoising Implicit Variational Inference

• arxiv url: http://arxiv.org/abs/2610.24509v1
• Date: Sat, 17 Oct 2026 07:07:58 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:54:41.254733
• Title: Denoising Implicit Variational Inference
• Title（参考訳）: 暗黙の変分推論を暗示する
• Abstract要約: 本稿では,Denoising Implicit Variational Inference (DIVI)を提案する。 DIVIは現在のUIVIベースラインよりも改善され、ELBO勾配推定のコストが削減される。
• 参考スコア（独自算出の注目度）: 10.248325974283373
• License:
• Abstract: Semi-implicit variational inference (SIVI) expands the representational capacity of variational families, but optimizing the Evidence Lower Bound (ELBO) remains challenging because the marginal score of the semi-implicit distribution is generally intractable. Unbiased Implicit Variational Inference (UIVI) and related methods address this difficulty through reparameterized ELBO gradients, but existing approaches estimate the required score indirectly through reverse-conditional sampling or approximation, which can be computationally costly and unstable. We propose Denoising Implicit Variational Inference (DIVI), which learns the marginal score directly via denoising score matching. The learned score is used as a plug-in estimator in the pathwise ELBO gradient, replacing inner reverse-conditional sampling with a score-network evaluation. We analyze DIVI as inexact stochastic gradient ascent and show, under stated assumptions, that the averaged stationarity measure is controlled by the usual optimization term and the average score-matching error. Empirically, we evaluate DIVI on both synthetic distributions and a variety of real-data Bayesian inference tasks. The results show that DIVI improves over the current UIVI baselines while reducing the cost of ELBO-gradient estimation.
• Abstract（参考訳）: 半単純変分推論(SIVI)は変分家族の表現能力を拡大するが、半単純分布の限界スコアが一般に難易度であるため、エビデンス下界(ELBO)の最適化は依然として困難である。 Unbiased Implicit Variational Inference (UIVI) と関連する手法は、再パラメータ化されたELBO勾配によってこの問題に対処するが、既存の手法では、計算コストと不安定性のある逆条件サンプリングや近似によって、必要となるスコアを間接的に推定する。 本稿では,Denoising Implicit Variational Inference (DIVI)を提案する。 学習したスコアは、パスワイズELBO勾配におけるプラグイン推定器として使用され、内部逆条件サンプリングをスコアネットワーク評価に置き換える。 我々は,DIVIを不正確な確率勾配上昇として解析し,平均定常度尺度が通常の最適化項と平均スコアマッチング誤差によって制御されていることを示す。 実験により,合成分布と実データベイズ推定タスクの双方についてDIVIを評価する。 その結果、DIVIは現在のUIVIベースラインよりも改善され、ELBO勾配推定のコストが削減された。

関連論文リスト

• Variational Rectification Inference for Learning with Noisy Labels [74.85528327499662]
  損失関数の適応的補正を定式化するために, 変分補正推論(VRI)を提案する。 VRIは、補正ベクトルを潜在変数として扱うことによって階層ベイズとして構成される。 VRIで変分項を導入することにより、条件付き後部を正確に推定し、ディラックデルタ関数への崩壊を避ける。
  論文  参考訳（メタデータ） (2026-03-18T01:25:08Z)
• A Kernel Approach for Semi-implicit Variational Inference [21.789560144560127]
  半単純変分推論(SIVI)は階層的半単純分布を通して変分族を表現する。 SIVI-SM(SIVI-SM)に対する最近のスコアマッチング手法は、ミニマックスの定式化によってこの問題に対処している。 本稿では,カーネル半単純変分推論(KSIVI)を提案する。
  論文  参考訳（メタデータ） (2026-01-17T12:06:12Z)
• Variance-Reduced Diffusion Sampling via Target Score Identity [0.0]
  クリーンな(ターゲット)スコアが利用可能か,あるいは近似可能な設定において,スコア推定と拡散に基づくサンプリングの分散化について検討した。 我々は、標準の逆時間解法と互換性のあるプラグアンドプレイ非パラメトリックな自己正規化重要度サンプリング推定器を開発した。 PDE-Governed Inverse問題と合成ターゲット実験により, 固定シミュレーション予算に対する試料品質の改善が示された。
  論文  参考訳（メタデータ） (2026-01-04T16:46:31Z)
• From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
  大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。 LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。 共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
  論文  参考訳（メタデータ） (2025-10-06T17:58:01Z)
• Semi-Implicit Variational Inference via Kernelized Path Gradient Descent [12.300415631357406]
  Kullback-Leibler分散を用いたトレーニングは、高次元設定における高分散とバイアスのために難しい場合がある。 非パラメトリックな平滑化によるトレーニングを安定化するカーネル化されたKL分散推定器を提案する。 関数空間における我々の手法のバイアスは良性であり、より安定で効率的な最適化をもたらす。
  論文  参考訳（メタデータ） (2025-06-05T14:34:37Z)
• Gradient Normalization Provably Benefits Nonconvex SGD under Heavy-Tailed Noise [60.92029979853314]
  重み付き雑音下でのグラディエントDescence(SGD)の収束を確実にする上での勾配正規化とクリッピングの役割について検討する。 我々の研究は、重尾雑音下でのSGDの勾配正規化の利点を示す最初の理論的証拠を提供する。 我々は、勾配正規化とクリッピングを取り入れた加速SGD変種を導入し、さらに重み付き雑音下での収束率を高めた。
  論文  参考訳（メタデータ） (2024-10-21T22:40:42Z)
• Semi-Implicit Variational Inference via Score Matching [9.654640791869431]
  半単純変分推論(SIVI)は、変分家族の表現性を大いに豊かにする。 現在のSIVIアプローチでは、サロゲートエビデンスローバウンド(ELBO)を使用したり、高価なインナーループMCMCをトレーニングに使用する場合が多い。 スコアマッチングによる代替学習目標に基づくSIVI-SMを提案する。
  論文  参考訳（メタデータ） (2023-08-19T13:32:54Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• VarGrad: A Low-Variance Gradient Estimator for Variational Inference [9.108412698936105]
  我々は、VarGradが、離散VAE上の他の最先端推定器と比較して、トレードオフとトレードオフに有利なばらつきを提供することを示す。
  論文  参考訳（メタデータ） (2020-10-20T16:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。