論文の概要: Long-time asymptotics of noisy SVGD outside the population limit

• arxiv url: http://arxiv.org/abs/2406.11929v2
• Date: Fri, 21 Jun 2024 07:45:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 18:47:43.639349
• Title: Long-time asymptotics of noisy SVGD outside the population limit
• Title（参考訳）: 集団限界外における雑音性SVGDの長期無症状
• Authors: Victor Priser, Pascal Bianchi, Adil Salim,
• Abstract要約: 我々はStein Variational Gradient Descent (SVGD) の雑音変動の長時間挙動について検討した。 特に、ノイズSVGDは、SVGDで観測される分散崩壊を確実に回避する。 我々のアプローチは、ノイズの多いSVGDの軌道がマッケイン・ブラソフ過程によって記述された軌道とよく似ていることを示すものである。
• 参考スコア（独自算出の注目度）: 9.2081159465248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stein Variational Gradient Descent (SVGD) is a widely used sampling algorithm that has been successfully applied in several areas of Machine Learning. SVGD operates by iteratively moving a set of interacting particles (which represent the samples) to approximate the target distribution. Despite recent studies on the complexity of SVGD and its variants, their long-time asymptotic behavior (i.e., after numerous iterations ) is still not understood in the finite number of particles regime. We study the long-time asymptotic behavior of a noisy variant of SVGD. First, we establish that the limit set of noisy SVGD for large is well-defined. We then characterize this limit set, showing that it approaches the target distribution as increases. In particular, noisy SVGD provably avoids the variance collapse observed for SVGD. Our approach involves demonstrating that the trajectories of noisy SVGD closely resemble those described by a McKean-Vlasov process.
• Abstract（参考訳）: Stein Variational Gradient Descent (SVGD) は、機械学習の分野で広く使われているサンプリングアルゴリズムである。 SVGDは、対象の分布を近似するために相互作用する粒子(サンプルを表す)の集合を反復的に移動する。 SVGDとその変種に関する最近の研究にもかかわらず、その長年の漸近的挙動(つまり、何度も繰り返した後に)は、有限個の粒子系では理解されていない。 SVGDの雑音変化の長期的漸近挙動について検討した。 まず、大きめのノイズSVGDの極限集合が well-defined であることを示す。 次に、この極限集合を特徴付け、増加とともにターゲット分布に近づくことを示す。 特に、ノイズSVGDは、SVGDで観測される分散崩壊を確実に回避する。 我々のアプローチは、ノイズの多いSVGDの軌道がマッケイン・ブラソフ過程によって記述された軌道とよく似ていることを示すものである。

関連論文リスト

• Stein Variational Evolution Strategies [17.315583101484147]
  非正規化確率分布から高効率なサンプリング法として, SVGD法(Stein Variational Gradient Descent)がある。 既存の SVGD の勾配のないバージョンは、単純なモンテカルロ近似や、サロゲート分布からの勾配を利用しており、どちらも制限がある。 SVGDのステップと進化戦略(ES)の更新を組み合わせて、勾配のないスタイン変分推論を改善する。
  論文  参考訳（メタデータ） (2024-10-14T11:24:41Z)
• Analytic-Splatting: Anti-Aliased 3D Gaussian Splatting via Analytic Integration [49.004898985671815]
  3DGSはエイリアスフリーではなく、解像度の異なるレンダリングは、ひどくぼやけたり、ジャギーになったりする可能性がある。 これは、3DGSが各ピクセルを領域ではなく孤立した単一点として扱い、ピクセルのフットプリントの変化に敏感であるからである。 本稿では、この近似を2次元のピクセルシェーディングに導入し、2D-ピクセルウィンドウ領域内のガウス積分を解析的に近似するアナリシス・スプレイティングを提案する。
  論文  参考訳（メタデータ） (2024-03-17T02:06:03Z)
• Provably Fast Finite Particle Variants of SVGD via Virtual Particle Stochastic Approximation [9.065034043031668]
  SVGD(Stein Variational Gradient Descent)は、相互作用する粒子系をターゲット分布からおよそサンプルにシミュレートする一般的な変分推論である。 仮想粒子の概念を導入し、確率測度空間における集団限界ダイナミクスの新たな近似を開発する。 VP-SVGD と GB-SVGD によって出力される$n$パーティクルは、バッチサイズ$K$で$T$のステップで実行されるが、ターゲットに対する Kernel Stein Disrepancy が少なくとも $Oleft(tfrac) であるような分布からの i.i.d サンプルと同程度であることを示す。
  論文  参考訳（メタデータ） (2023-05-27T19:21:28Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• A Finite-Particle Convergence Rate for Stein Variational Gradient Descent [47.6818454221125]
  我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。 我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
  論文  参考訳（メタデータ） (2022-11-17T17:50:39Z)
• SVG-Net: An SVG-based Trajectory Prediction Model [67.68864911674308]
  シーン内の車両の動きを予想することは、安全な自動運転システムにとって重要な問題である。 この目的のために、シーンのインフラの理解は、しばしば将来の軌跡を予測する主要な手がかりである。 提案手法のほとんどが逆逆変換方式のシーンを表現しており、近年のアプローチではカスタムベクトル化方式が採用されている。
  論文  参考訳（メタデータ） (2021-10-07T18:00:08Z)
• Kernel Stein Generative Modeling [68.03537693810972]
  グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。 Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。 雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
  論文  参考訳（メタデータ） (2020-07-06T21:26:04Z)
• A Non-Asymptotic Analysis for Stein Variational Gradient Descent [44.30569261307296]
  定常変分勾配Descentアルゴリズムに対する新しい有限時間解析法を提案する。 アルゴリズムが各反復の目的を減少させることを示す降下補題を提供する。 また, SVGDの実用的実装に対応する有限粒子系の収束結果を, 集団バージョンに反映する。
  論文  参考訳（メタデータ） (2020-06-17T12:01:33Z)
• Stein Variational Inference for Discrete Distributions [70.19352762933259]
  離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。 提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。 我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。 さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
  論文  参考訳（メタデータ） (2020-03-01T22:45:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。