論文の概要: The equivalence between Stein variational gradient descent and black-box variational inference

• arxiv url: http://arxiv.org/abs/2004.01822v1
• Date: Sat, 4 Apr 2020 00:39:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 22:44:20.345557
• Title: The equivalence between Stein variational gradient descent and black-box variational inference
• Title（参考訳）: スタイン変分勾配勾配とブラックボックス変分推定の等価性
• Authors: Casey Chu, Kentaro Minami, Kenji Fukumizu
• Abstract要約: 我々は、スタイン変分勾配勾配(SVGD)とブラックボックス変分勾配(BBVI)の等価性を定式化する。 この研究は、変分推論と生成モデリングにおけるいくつかの既存のテクニックを統一し、カーネルをこれらのアルゴリズムの振る舞いを規定する基本的な対象として特定し、その特性をより深く分析する動機となっている。
• 参考スコア（独自算出の注目度）: 21.01604897837572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We formalize an equivalence between two popular methods for Bayesian inference: Stein variational gradient descent (SVGD) and black-box variational inference (BBVI). In particular, we show that BBVI corresponds precisely to SVGD when the kernel is the neural tangent kernel. Furthermore, we interpret SVGD and BBVI as kernel gradient flows; we do this by leveraging the recent perspective that views SVGD as a gradient flow in the space of probability distributions and showing that BBVI naturally motivates a Riemannian structure on that space. We observe that kernel gradient flow also describes dynamics found in the training of generative adversarial networks (GANs). This work thereby unifies several existing techniques in variational inference and generative modeling and identifies the kernel as a fundamental object governing the behavior of these algorithms, motivating deeper analysis of its properties.
• Abstract（参考訳）: ベイズ変分勾配勾配(SVGD)とブラックボックス変分勾配(BBVI)の2つの一般的な手法の等価性を定式化する。 特に、BBVIは神経タンジェントカーネルである場合、SVGDと正確に対応していることを示す。 さらに、svgd と bbvi をカーネル勾配流と解釈し、svgd を確率分布の空間における勾配流と捉え、bbvi がその空間上のリーマン構造を自然に動機付けていることを示す最近の視点を用いてこれを行う。 また, GAN(Generative Adversarial Network)のトレーニングにおいて, カーネル勾配流は動的に記述される。 この研究は、変分推論と生成モデリングにおけるいくつかの既存の手法を統一し、カーネルをこれらのアルゴリズムの振る舞いを管理する基本的なオブジェクトとして識別し、その特性のより深い分析を動機付ける。

関連論文リスト

• Point Cloud Denoising With Fine-Granularity Dynamic Graph Convolutional Networks [58.050130177241186]
  ノイズの摂動は、しばしば3次元の点雲を破損させ、表面の再構成、レンダリング、さらなる処理といった下流のタスクを妨げる。 本稿では,GDGCNと呼ばれる粒度動的グラフ畳み込みネットワークについて紹介する。
  論文  参考訳（メタデータ） (2024-11-21T14:19:32Z)
• Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding [5.584060970507506]
  スタイン変分勾配勾配(SVGD)は、ターゲット分布をサンプリングするために用いられる顕著な粒子ベースの変分勾配推定法である。 本稿では,深層展開(deep Openfolding)と呼ばれる深層学習手法をSVGDに組み込んだ,新しいトレーニング可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T06:24:57Z)
• Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows [6.452626686361619]
  我々は変分推論とワッサーシュタイン勾配流のギャップを埋める。 ある条件下では、ビュール=ヴァッサーシュタイン勾配流はユークリッド勾配流として再キャストすることができる。 また,Wasserstein勾配流に対する蒸留法としてフレーミングすることで,経路微分勾配の別の視点も提供する。
  論文  参考訳（メタデータ） (2023-10-31T00:10:19Z)
• Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent [16.16051064618816]
  Stein Variational Gradient Descent (SVGD) は、非パラメトリック粒子に基づく決定論的サンプリングアルゴリズムである。 双線型カーネルを介してガウス分布の族に投影されるガウス-SVGDのダイナミクスについて検討する。 本稿では密度ベースおよび粒子ベースによるGaussian-SVGDの実装を提案し、GVIの最近のアルゴリズムは、異なる視点から提案され、我々の統合フレームワークの特別なケースとして現れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T13:55:47Z)
• Practical and Matching Gradient Variance Bounds for Black-Box Variational Bayesian Inference [8.934639058735812]
  BBVI は勾配降下文学で用いられる$ABC$条件に対応する整合性を満たすことを示す。 また,平均場パラメタライゼーションのばらつきは,次元依存性が良好であることを示す。
  論文  参考訳（メタデータ） (2023-03-18T19:07:14Z)
• Learning Discretized Neural Networks under Ricci Flow [51.36292559262042]
  低精度重みとアクティベーションからなる離散ニューラルネットワーク(DNN)について検討する。 DNNは、訓練中に微分不可能な離散関数のために無限あるいはゼロの勾配に悩まされる。
  論文  参考訳（メタデータ） (2023-02-07T10:51:53Z)
• The Manifold Hypothesis for Gradient-Based Explanations [55.01671263121624]
  勾配に基づく説明アルゴリズムは知覚的に整合した説明を提供する。 特徴属性がデータの接する空間と一致しているほど、知覚的に一致している傾向にあることを示す。 説明アルゴリズムは、その説明をデータ多様体と整合させるよう積極的に努力すべきである。
  論文  参考訳（メタデータ） (2022-06-15T08:49:24Z)
• Quasi Black-Box Variational Inference with Natural Gradients for Bayesian Learning [84.90242084523565]
  複素モデルにおけるベイズ学習に適した最適化アルゴリズムを開発した。 我々のアプローチは、モデル固有導出に制限のある効率的なトレーニングのための一般的なブラックボックスフレームワーク内の自然な勾配更新に依存している。
  論文  参考訳（メタデータ） (2022-05-23T18:54:27Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• SVGD as a kernelized Wasserstein gradient flow of the chi-squared divergence [16.864125490806387]
  SVGD(Stein Variational Gradient Descent)は、最適輸送の幾何学において、クルバック・リーブラー分流の核化勾配流としてしばしば記述される。 SVGDはポアンカーの不等式のように弱い条件下で一様指数的エルゴード性を示す。 対象密度に関連するラプラシアン作用素のスペクトル分解から実装できるラプラシアン調整ワッサーシュタイン勾配蛍光(Laplacian Adjusted Wasserstein Gradient Descent, LWGD)を提案する。
  論文  参考訳（メタデータ） (2020-06-03T20:20:21Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。