論文の概要: Accelerated Stein Variational Gradient Flow

• arxiv url: http://arxiv.org/abs/2503.23462v2
• Date: Wed, 09 Apr 2025 12:35:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:04:29.344739
• Title: Accelerated Stein Variational Gradient Flow
• Title（参考訳）: 加速ステイン変分勾配流
• Authors: Viktor Stein, Wuchen Li,
• Abstract要約: スタイン変分勾配勾配法(SVGD)は、ターゲット分布からサンプリングするカーネルベースの粒子法である。 確率密度の計量空間における加速勾配流に基づく加速SVGDであるASVGDを紹介する。 粒子の集合を決定論的に進化させる運動量に基づく離散時間サンプリングアルゴリズムを導出する。
• 参考スコア（独自算出の注目度）: 2.384873896423002
• License:
• Abstract: Stein variational gradient descent (SVGD) is a kernel-based particle method for sampling from a target distribution, e.g., in generative modeling and Bayesian inference. SVGD does not require estimating the gradient of the log-density, which is called score estimation. In practice, SVGD can be slow compared to score-estimation based sampling algorithms. To design fast and efficient high-dimensional sampling algorithms, we introduce ASVGD, an accelerated SVGD, based on an accelerated gradient flow in a metric space of probability densities following Nesterov's method. We then derive a momentum-based discrete-time sampling algorithm, which evolves a set of particles deterministically. To stabilize the particles' momentum update, we also study a Wasserstein metric regularization. For the generalized bilinear kernel and the Gaussian kernel, toy numerical examples with varied target distributions demonstrate the effectiveness of ASVGD compared to SVGD and other popular sampling methods.
• Abstract（参考訳）: スタイン変分勾配勾配 (SVGD) は, 生成モデルやベイズ推定において, 対象分布, 例えば, 対象分布からサンプリングするカーネルベースの粒子法である。 SVGDは、スコア推定と呼ばれるログ密度の勾配を推定する必要がない。 実際、SVGDはスコア推定に基づくサンプリングアルゴリズムと比較して遅い。 高速かつ効率的な高次元サンプリングアルゴリズムを設計するために,Nesterov法に従う確率密度の計量空間における加速勾配流に基づいて,加速SVGDであるASVGDを導入する。 次に、運動量に基づく離散時間サンプリングアルゴリズムを導出し、粒子の集合を決定論的に進化させる。 粒子の運動量更新を安定させるためには、ワッサーシュタイン計量正則化も検討する。 一般化された双線形カーネルとガウスカーネルの場合、ターゲット分布の異なるおもちゃの数値例は、SVGDや他の一般的なサンプリング手法と比較してASVGDの有効性を示す。

関連論文リスト

• Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding [5.584060970507506]
  スタイン変分勾配勾配(SVGD)は、ターゲット分布をサンプリングするために用いられる顕著な粒子ベースの変分勾配推定法である。 本稿では,深層展開(deep Openfolding)と呼ばれる深層学習手法をSVGDに組み込んだ,新しいトレーニング可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T06:24:57Z)
• Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation [9.065034043031668]
  SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。 仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:21:28Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• Large-Scale Wasserstein Gradient Flows [84.73670288608025]
  ワッサーシュタイン勾配流を近似するスケーラブルなスキームを導入する。 我々のアプローチは、JKOステップを識別するために、入力ニューラルネットワーク(ICNN)に依存しています。 その結果、勾配拡散の各ステップで測定値からサンプリングし、その密度を計算することができる。
  論文  参考訳（メタデータ） (2021-06-01T19:21:48Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。