論文の概要: Stein Variational Evolution Strategies
- arxiv url: http://arxiv.org/abs/2410.10390v1
- Date: Mon, 14 Oct 2024 11:24:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-29 21:54:49.464138
- Title: Stein Variational Evolution Strategies
- Title（参考訳）: 定常変分進化戦略
- Authors: Cornelius V. Braun, Robert T. Lange, Marc Toussaint,
- Abstract要約: 非正規化確率分布から高効率なサンプリング法として, SVGD法(Stein Variational Gradient Descent)がある。
既存の SVGD の勾配のないバージョンは、単純なモンテカルロ近似や、サロゲート分布からの勾配を利用しており、どちらも制限がある。
SVGDのステップと進化戦略(ES)の更新を組み合わせて、勾配のないスタイン変分推論を改善する。
- 参考スコア（独自算出の注目度）: 17.315583101484147
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Stein Variational Gradient Descent (SVGD) is a highly efficient method to sample from an unnormalized probability distribution. However, the SVGD update relies on gradients of the log-density, which may not always be available. Existing gradient-free versions of SVGD make use of simple Monte Carlo approximations or gradients from surrogate distributions, both with limitations. To improve gradient-free Stein variational inference, we combine SVGD steps with evolution strategy (ES) updates. Our results demonstrate that the resulting algorithm generates high-quality samples from unnormalized target densities without requiring gradient information. Compared to prior gradient-free SVGD methods, we find that the integration of the ES update in SVGD significantly improves the performance on multiple challenging benchmark problems.
- Abstract（参考訳）: 非正規化確率分布から高効率なサンプリング法として, SVGD法(Stein Variational Gradient Descent)がある。
しかし、SVGDのアップデートはログ密度の勾配に依存しているため、常に利用できるとは限らない。
既存の SVGD の勾配のないバージョンは、単純なモンテカルロ近似や、サロゲート分布からの勾配を利用しており、どちらも制限がある。
勾配のないスタイン変分推論を改善するため、SVGDステップと進化戦略(ES)の更新を組み合わせる。
その結果, アルゴリズムは勾配情報を必要とせず, 正規化対象密度から高品質なサンプルを生成することを示した。
従来の勾配のないSVGD法と比較して,SVGDにおけるES更新の統合により,複数のベンチマーク問題に対する性能が大幅に向上することがわかった。
関連論文リスト
- Mipmap-GS: Let Gaussians Deform with Scale-specific Mipmap for Anti-aliasing Rendering [81.88246351984908]
任意のスケールでガウスを適応させる統一最適化法を提案する。
ミップマップ技術に触発されて、ターゲットスケールのための擬似基底構造を設計し、3次元ガウスアンにスケール情報を注入するスケール一貫性誘導損失を提案する。
本手法は,PSNRの3DGSを,ズームインで平均9.25dB,ズームアウトで平均10.40dBで上回っている。
論文 参考訳（メタデータ） (2024-08-12T16:49:22Z) - VividDreamer: Towards High-Fidelity and Efficient Text-to-3D Generation [69.68568248073747]
拡散に基づく3次元生成タスクにおいて, ポーズ依存型連続蒸留サンプリング (PCDS) を提案する。
PCDSは拡散軌道内でポーズ依存整合関数を構築し、最小サンプリングステップで真の勾配を近似することができる。
そこで我々は,まず1ステップのPCDSを用いて3Dオブジェクトの基本構造を作成し,さらに徐々にPCDSのステップを拡大して細かな細部を生成する,粗大な最適化手法を提案する。
論文 参考訳（メタデータ） (2024-06-21T08:21:52Z) - Long-time asymptotics of noisy SVGD outside the population limit [9.2081159465248]
我々はStein Variational Gradient Descent (SVGD) の雑音変動の長時間挙動について検討した。
特に、ノイズSVGDは、SVGDで観測される分散崩壊を確実に回避する。
我々のアプローチは、ノイズの多いSVGDの軌道がマッケイン・ブラソフ過程によって記述された軌道とよく似ていることを示すものである。
論文 参考訳（メタデータ） (2024-06-17T13:00:51Z) - SteinDreamer: Variance Reduction for Text-to-3D Score Distillation via Stein Identity [70.32101198891465]
スコア蒸留における勾配推定は, 分散度が高いことが示唆された。
本稿では,Stin Score Distillation (SSD) と呼ばれる,スコア蒸留の分散を低減するための,より一般的な解を提案する。
我々はSteinDreamerがより安定した勾配更新により既存の方法よりも高速に収束できることを実証した。
論文 参考訳（メタデータ） (2023-12-31T23:04:25Z) - Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
収束過程における有限粒子の等方性特性について検討する。
すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。
提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
論文 参考訳（メタデータ） (2023-05-18T01:13:04Z) - A stochastic Stein Variational Newton method [7.272730677575111]
SSVN(Stein variational Newton)は,高精度ベイズ推論タスクを高速化するための有望なアプローチであることを示す。
本アルゴリズムは, ハイブリッドローゼンブロック密度 (Hybrid Rosenbrock density) という, 難解なテスト問題に対する有効性を示すとともに, sSVN がログ確率の3桁未満の精度で収束することを示す。
論文 参考訳（メタデータ） (2022-04-19T17:57:36Z) - Grassmann Stein Variational Gradient Descent [3.644031721554146]
スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。
近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。
任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
論文 参考訳（メタデータ） (2022-02-07T15:36:03Z) - Exploiting Adam-like Optimization Algorithms to Improve the Performance
of Convolutional Neural Networks [82.61182037130405]
勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。
本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。
resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
論文 参考訳（メタデータ） (2021-03-26T18:55:08Z) - Kernel Stein Generative Modeling [68.03537693810972]
グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。
Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。
雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
論文 参考訳（メタデータ） (2020-07-06T21:26:04Z) - Stein Variational Inference for Discrete Distributions [70.19352762933259]
離散分布を等価なピースワイズ連続分布に変換する単純な一般フレームワークを提案する。
提案手法は,ギブスサンプリングや不連続ハミルトニアンモンテカルロといった従来のアルゴリズムよりも優れている。
我々は,この手法がバイナライズニューラルネットワーク(BNN)のアンサンブルを学習するための有望なツールであることを実証した。
さらに、そのような変換は、勾配のないカーネル化されたStein差分に簡単に適用でき、離散分布の良性(GoF)テストを実行することができる。
論文 参考訳（メタデータ） (2020-03-01T22:45:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。