論文の概要: Multirate Stein Variational Gradient Descent for Efficient Bayesian Sampling
- arxiv url: http://arxiv.org/abs/2604.03981v1
- Date: Sun, 05 Apr 2026 06:03:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.860863
- Title: Multirate Stein Variational Gradient Descent for Efficient Bayesian Sampling
- Title（参考訳）: 効率よいベイズサンプリングのためのマルチレートステイン変分勾配発振
- Abstract要約: 我々は、これらのコンポーネントを異なる時間スケールで更新する、Stein variational gradient descent (SVGD)のマルチレートバージョンを導出する。
このフレームワークは、対称分割法、固定乗算法(MR-SVGD)、適応乗算法(Adapt-MR-SVGD)、局所誤差制御を含む実用的なアルゴリズムを生成する。
本手法は6つの問題群をカバーする広範かつ厳密なベンチマークスイートで評価する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many particle-based Bayesian inference methods use a single global step size for all parts of the update. In Stein variational gradient descent (SVGD), however, each update combines two qualitatively different effects: attraction toward high-posterior regions and repulsion that preserves particle diversity. These effects can evolve at different rates, especially in high-dimensional, anisotropic, or hierarchical posteriors, so one step size can be unstable in some regions and inefficient in others. We derive a multirate version of SVGD that updates these components on different time scales. The framework yields practical algorithms, including a symmetric split method, a fixed multirate method (MR-SVGD), and an adaptive multirate method (Adapt-MR-SVGD) with local error control. We evaluate the methods in a broad and rigorous benchmark suite covering six problem families: a 50D Gaussian target, multiple 2D synthetic targets, UCI Bayesian logistic regression, multimodal Gaussian mixtures, Bayesian neural networks, and large-scale hierarchical logistic regression. Evaluation includes posterior-matching metrics, predictive performance, calibration quality, mixing, and explicit computational cost accounting. Across these six benchmark families, multirate SVGD variants improve robustness and quality-cost tradeoffs relative to vanilla SVGD. The strongest gains appear on stiff hierarchical, strongly anisotropic, and multimodal targets, where adaptive multirate SVGD is usually the strongest variant and fixed multirate SVGD provides a simpler robust alternative at lower cost.
- Abstract（参考訳）: 多くの粒子ベースのベイズ推定法は、更新のすべての部分に対して単一のグローバルステップサイズを使用する。
しかし、Stein variational gradient descent (SVGD) では、それぞれの更新は2つの質的な異なる効果、すなわち高次領域へのアトラクションと、粒子の多様性を保った反発を組み合わせている。
これらの効果は、特に高次元、異方性、階層的な後部において異なる速度で進化することができるため、ある領域では1つのステップサイズが不安定であり、他の領域では非効率である。
これらのコンポーネントを異なる時間スケールで更新するSVGDのマルチレートバージョンを導出する。
このフレームワークは、対称分割法、固定乗算法(MR-SVGD)、適応乗算法(Adapt-MR-SVGD)、局所誤差制御を含む実用的なアルゴリズムを生成する。
提案手法は,50Dガウス目標,複数2D合成目標,UCIベイジアンロジスティック回帰,多モードガウス混合,ベイジアンニューラルネットワーク,大規模階層ロジスティック回帰の6つの問題群をカバーする広範かつ厳密なベンチマークスイートで評価した。
評価には、後部マッチングメトリクス、予測性能、校正品質、混合、明示的な計算コスト会計が含まれる。
これら6つのベンチマークファミリの中で、マルチレートSVGDはバニラSVGDと比較して堅牢性と品質コストのトレードオフを改善している。
強利得は強階層的、強異方的、マルチモーダルなターゲットに現れ、適応的マルチレートSVGDは通常最強の変種であり、固定的マルチレートSVGDは低コストでより単純なロバストな代替手段を提供する。
関連論文リスト
- Beyond Heuristics: Learnable Density Control for 3D Gaussian Splatting [78.96382179408054]
強化学習(RL)により最適化されたパラメータ化ポリシネットワークとして密度制御を再構築するフレームワークであるbfLeGSを紹介する。
計算的トラクタビリティを維持するために、報酬計算の複雑さを$O(N2)$から$O(N)$に下げる閉形式解を導出する。
Mip-NeRF 360、Tants & Temples、Deep Blendingのデータセットの実験は、bfLeGSが最先端の手法を大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-05-01T05:04:49Z) - Quantized Visual Geometry Grounded Transformer [67.15451442018258]
本稿では,VGGTの最初の量子化フレームワーク,すなわちQuantVGGTを提案する。
球状前アダマール回転と局所流路平滑化を統合したDual-Smoothed Fine-Grained Quantizationを導入する。
また、重層統計量を用いて外周をフィルタするノイズフィルタディバースサンプリングを設計する。
論文 参考訳（メタデータ） (2025-09-25T15:17:11Z) - Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。
提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
論文 参考訳（メタデータ） (2025-05-08T17:58:45Z) - Stein Variational Evolution Strategies [17.315583101484147]
非正規化確率分布から高効率なサンプリング法として, SVGD法(Stein Variational Gradient Descent)がある。
既存の SVGD の勾配のないバージョンは、単純なモンテカルロ近似や、サロゲート分布からの勾配を利用しており、どちらも制限がある。
SVGDのステップと進化戦略(ES)の更新を組み合わせて、勾配のないスタイン変分推論を改善する。
論文 参考訳（メタデータ） (2024-10-14T11:24:41Z) - Accelerating Convergence of Stein Variational Gradient Descent via Deep
Unfolding [5.584060970507506]
スタイン変分勾配勾配(SVGD)は、ターゲット分布をサンプリングするために用いられる顕著な粒子ベースの変分勾配推定法である。
本稿では,深層展開(deep Openfolding)と呼ばれる深層学習手法をSVGDに組み込んだ,新しいトレーニング可能なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-23T06:24:57Z) - Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
収束過程における有限粒子の等方性特性について検討する。
すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。
提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
論文 参考訳（メタデータ） (2023-05-18T01:13:04Z) - Grassmann Stein Variational Gradient Descent [3.644031721554146]
スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。
近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。
任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
論文 参考訳（メタデータ） (2022-02-07T15:36:03Z) - Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。
我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。
提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
論文 参考訳（メタデータ） (2021-07-18T09:05:16Z) - Exploiting Adam-like Optimization Algorithms to Improve the Performance
of Convolutional Neural Networks [82.61182037130405]
勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。
本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。
resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
論文 参考訳（メタデータ） (2021-03-26T18:55:08Z) - Kernel Stein Generative Modeling [68.03537693810972]
グラディエント・ランゲヴィン・ダイナミクス(SGLD)は高次元および複雑なデータ分布に関するエネルギーモデルによる印象的な結果を示す。
Stein Variational Gradient Descent (SVGD) は、与えられた分布を近似するために一組の粒子を反復的に輸送する決定論的サンプリングアルゴリズムである。
雑音条件付きカーネルSVGD(NCK-SVGD)を提案する。
論文 参考訳（メタデータ） (2020-07-06T21:26:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。