論文の概要: Towards understanding Accelerated Stein Variational Gradient Flow -- Analysis of Generalized Bilinear Kernels for Gaussian target distributions

• arxiv url: http://arxiv.org/abs/2509.04008v1
• Date: Thu, 04 Sep 2025 08:39:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.102756
• Title: Towards understanding Accelerated Stein Variational Gradient Flow -- Analysis of Generalized Bilinear Kernels for Gaussian target distributions
• Title（参考訳）: 加速定常変分勾配流れの理解に向けて --ガウス目標分布に対する一般化双線型カーネルの解析-
• Authors: Viktor Stein, Wuchen Li,
• Abstract要約: SVGD(Stein variational gradient descent)は、ターゲット分布からサンプリングするカーネルベースの非パラメトリック粒子法である。 本稿では,確率密度の計量空間における加速勾配流に基づいて,加速SVGD(ASVGD)を導入する。 ベイズニューラルネットワークの設定において、SVGDはログライクリフとトータルタイムの点でSVGDを著しく上回る。
• 参考スコア（独自算出の注目度）: 0.5528896840956629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stein variational gradient descent (SVGD) is a kernel-based and non-parametric particle method for sampling from a target distribution, such as in Bayesian inference and other machine learning tasks. Different from other particle methods, SVGD does not require estimating the score, which is the gradient of the log-density. However, in practice, SVGD can be slow compared to score-estimation-based sampling algorithms. To design a fast and efficient high-dimensional sampling algorithm with the advantages of SVGD, we introduce accelerated SVGD (ASVGD), based on an accelerated gradient flow in a metric space of probability densities following Nesterov's method. We then derive a momentum-based discrete-time sampling algorithm, which evolves a set of particles deterministically. To stabilize the particles' position update, we also include a Wasserstein metric regularization. This paper extends the conference version \cite{SL2025}. For the bilinear kernel and Gaussian target distributions, we study the kernel parameter and damping parameters with an optimal convergence rate of the proposed dynamics. This is achieved by analyzing the linearized accelerated gradient flows at the equilibrium. Interestingly, the optimal parameter is a constant, which does not depend on the covariance of the target distribution. For the generalized kernel functions, such as the Gaussian kernel, numerical examples with varied target distributions demonstrate the effectiveness of ASVGD compared to SVGD and other popular sampling methods. Furthermore, we show that in the setting of Bayesian neural networks, ASVGD outperforms SVGD significantly in terms of log-likelihood and total iteration times.
• Abstract（参考訳）: スタイン変分勾配勾配 (SVGD) は、ベイズ推論やその他の機械学習タスクなど、ターゲット分布からサンプリングするカーネルベースの非パラメトリック粒子法である。 他の粒子法とは異なり、SVGDはログ密度の勾配であるスコアを推定する必要がない。 しかし、実際には、SVGDはスコア推定に基づくサンプリングアルゴリズムと比較して遅くなる可能性がある。 SVGD の利点を生かした高速かつ効率的な高次元サンプリングアルゴリズムを設計するために,Nesterov 法に従う確率密度の計量空間における加速勾配流に基づく加速SVGD (ASVGD) を導入する。 次に、運動量に基づく離散時間サンプリングアルゴリズムを導出し、粒子の集合を決定論的に進化させる。 粒子の位置を安定させるためには、ワッサーシュタイン計量正則化も含む。 本論文は,カンファレンスバージョンである‘cite{SL2025}’を拡張した。 双線型カーネルとガウス目標分布に対して、提案したダイナミクスの最適収束率を用いて、カーネルパラメータと減衰パラメータについて検討する。 これは平衡における線形化加速勾配流を解析することによって達成される。 興味深いことに、最適パラメータは定数であり、ターゲット分布の共分散に依存しない。 ガウスカーネルのような一般化されたカーネル関数に対して、ターゲット分布の異なる数値例は、SVGDや他の一般的なサンプリング手法と比較してASVGDの有効性を示す。 さらに、ベイズニューラルネットワークの設定において、SVGDは、ログライクな時間と全反復時間において、SVGDを著しく上回ることを示す。

関連論文リスト

• Accelerated Stein Variational Gradient Flow [2.384873896423002]
  スタイン変分勾配勾配法(SVGD)は、ターゲット分布からサンプリングするカーネルベースの粒子法である。 確率密度の計量空間における加速勾配流に基づく加速SVGDであるASVGDを紹介する。 粒子の集合を決定論的に進化させる運動量に基づく離散時間サンプリングアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2025-03-30T14:37:21Z)
• Towards Understanding the Dynamics of Gaussian-Stein Variational Gradient Descent [16.16051064618816]
  Stein Variational Gradient Descent (SVGD) は、非パラメトリック粒子に基づく決定論的サンプリングアルゴリズムである。 双線型カーネルを介してガウス分布の族に投影されるガウス-SVGDのダイナミクスについて検討する。 本稿では密度ベースおよび粒子ベースによるGaussian-SVGDの実装を提案し、GVIの最近のアルゴリズムは、異なる視点から提案され、我々の統合フレームワークの特別なケースとして現れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T13:55:47Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• Detecting Rotated Objects as Gaussian Distributions and Its 3-D Generalization [81.29406957201458]
  既存の検出方法は、パラメータ化バウンディングボックス(BBox)を使用して(水平)オブジェクトをモデル化し、検出する。 このような機構は回転検出に有効な回帰損失を構築するのに基本的な限界があると主張する。 回転した物体をガウス分布としてモデル化することを提案する。 2次元から3次元へのアプローチを、方向推定を扱うアルゴリズム設計により拡張する。
  論文  参考訳（メタデータ） (2022-09-22T07:50:48Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。