論文の概要: Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference

• arxiv url: http://arxiv.org/abs/2310.16705v1
• Date: Wed, 25 Oct 2023 15:20:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 14:01:48.763976
• Title: Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference
• Title（参考訳）: 変分推定のための変分パラメータ空間上のワッサースタイン勾配流れ
• Authors: Dai Hai Nguyen, Tetsuya Sakurai, Hiroshi Mamitsuka
• Abstract要約: 変分推論(VI)は、変分パラメータを調整し、変分分布を真の後部と密に整合させる最適化問題である。 この最適化問題に対処するためのワッサーシュタイン勾配降下法を提案する。
• 参考スコア（独自算出の注目度）: 8.340919965932443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Variational inference (VI) can be cast as an optimization problem in which the variational parameters are tuned to closely align a variational distribution with the true posterior. The optimization task can be approached through vanilla gradient descent in black-box VI or natural-gradient descent in natural-gradient VI. In this work, we reframe VI as the optimization of an objective that concerns probability distributions defined over a \textit{variational parameter space}. Subsequently, we propose Wasserstein gradient descent for tackling this optimization problem. Notably, the optimization techniques, namely black-box VI and natural-gradient VI, can be reinterpreted as specific instances of the proposed Wasserstein gradient descent. To enhance the efficiency of optimization, we develop practical methods for numerically solving the discrete gradient flows. We validate the effectiveness of the proposed methods through empirical experiments on a synthetic dataset, supplemented by theoretical analyses.
• Abstract（参考訳）: 変分推論(vi)は、変分パラメータを調整して変分分布と真の後続分布を密に調整する最適化問題としてキャストすることができる。 最適化タスクは、ブラックボックスviのバニラ勾配降下または自然勾配viの自然勾配降下を通じてアプローチできる。 本研究では, 確率分布を \textit{variational parameter space} 上で定義する目的の最適化としてviを再構成する。 次に,この最適化問題に取り組むため,wasserstein勾配降下法を提案する。 特に、ブラックボックス VI と自然勾配 VI の最適化手法は、提案されたワッサーシュタイン勾配勾配の特定の例として解釈することができる。 最適化の効率を向上させるため,離散勾配流の数値解法を開発した。 理論解析により補足した合成データセットを用いた実験により,提案手法の有効性を検証する。

関連論文リスト

• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• VI-DGP: A variational inference method with deep generative prior for solving high-dimensional inverse problems [0.7734726150561089]
  本研究では,高次元後方分布を推定するための新しい近似法を提案する。 このアプローチは、深層生成モデルを利用して、空間的に変化するパラメータを生成することができる事前モデルを学ぶ。 提案手法は自動微分方式で完全に実装できる。
  論文  参考訳（メタデータ） (2023-02-22T06:48:10Z)
• Manifold Gaussian Variational Bayes on the Precision Matrix [70.44024861252554]
  複雑なモデルにおける変分推論(VI)の最適化アルゴリズムを提案する。 本研究では,変分行列上の正定値制約を満たすガウス変分推論の効率的なアルゴリズムを開発した。 MGVBPはブラックボックスの性質のため、複雑なモデルにおけるVIのための準備が整ったソリューションである。
  論文  参考訳（メタデータ） (2022-10-26T10:12:31Z)
• Accelerating Stochastic Probabilistic Inference [1.599072005190786]
  変分推論(SVI)は確率モデルの良好な後部近似を求める能力により、ますます魅力的になっている。 最先端のSVIアルゴリズムのほとんど全てが一階最適化に基づいており、しばしば収束率の低下に悩まされている。 我々は二階法と変分推論のギャップを二階法に基づく変分推論手法によって埋める。
  論文  参考訳（メタデータ） (2022-03-15T01:19:12Z)
• On the Existence of Optimal Transport Gradient for Learning Generative Models [8.602553195689513]
  Wasserstein Generative Adversarial Networks (WGAN) のトレーニングは、最適な輸送コストの勾配の計算に依存する。 まず、そのような勾配は定義されない可能性を示し、勾配に基づく最適化の際の数値的不安定性をもたらす。 実験データの離散性を利用して、半離散的な設定で勾配を定式化し、生成モデルパラメータの最適化のためのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-10T16:28:20Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Stochastic Learning Approach to Binary Optimization for Optimal Design of Experiments [0.0]
  本稿では,偏微分方程式などの数学モデルによるベイズ逆問題に対する最適実験設計 (OED) のための二項最適化への新しいアプローチを提案する。 OEDユーティリティ関数、すなわち正規化された最適性勾配はベルヌーイ分布に対する期待の形で目的関数にキャストされる。 この目的を確率的最適化ルーチンを用いて最適な観測方針を求めることで解決する。
  論文  参考訳（メタデータ） (2021-01-15T03:54:12Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Quantized Variational Inference [6.09170287691728]
  ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。 量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
  論文  参考訳（メタデータ） (2020-11-04T13:22:50Z)
• Stochastic Normalizing Flows [52.92110730286403]
  微分方程式(SDE)を用いた最大推定と変分推論のための正規化フロー(VI)を導入する。 粗い経路の理論を用いて、基礎となるブラウン運動は潜在変数として扱われ、近似され、神経SDEの効率的な訓練を可能にする。 これらのSDEは、与えられたデータセットの基盤となる分布からサンプリングする効率的なチェーンを構築するために使用することができる。
  論文  参考訳（メタデータ） (2020-02-21T20:47:55Z)
• On the Convergence of Adaptive Gradient Methods for Nonconvex Optimization [80.03647903934723]
  我々は、勾配収束法を期待する適応勾配法を証明した。 解析では、非理解勾配境界の最適化において、より適応的な勾配法に光を当てた。
  論文  参考訳（メタデータ） (2018-08-16T20:25:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。