論文の概要: Multirate Stein Variational Gradient Descent for Efficient Bayesian Sampling

• arxiv url: http://arxiv.org/abs/2604.03981v1
• Date: Sun, 05 Apr 2026 06:03:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.860863
• Title: Multirate Stein Variational Gradient Descent for Efficient Bayesian Sampling
• Title（参考訳）: 効率よいベイズサンプリングのためのマルチレートステイン変分勾配発振
• Authors: Arash Sarshar,
• Abstract要約: 我々は、これらのコンポーネントを異なる時間スケールで更新する、Stein variational gradient descent (SVGD)のマルチレートバージョンを導出する。 このフレームワークは、対称分割法、固定乗算法(MR-SVGD)、適応乗算法(Adapt-MR-SVGD)、局所誤差制御を含む実用的なアルゴリズムを生成する。 本手法は6つの問題群をカバーする広範かつ厳密なベンチマークスイートで評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many particle-based Bayesian inference methods use a single global step size for all parts of the update. In Stein variational gradient descent (SVGD), however, each update combines two qualitatively different effects: attraction toward high-posterior regions and repulsion that preserves particle diversity. These effects can evolve at different rates, especially in high-dimensional, anisotropic, or hierarchical posteriors, so one step size can be unstable in some regions and inefficient in others. We derive a multirate version of SVGD that updates these components on different time scales. The framework yields practical algorithms, including a symmetric split method, a fixed multirate method (MR-SVGD), and an adaptive multirate method (Adapt-MR-SVGD) with local error control. We evaluate the methods in a broad and rigorous benchmark suite covering six problem families: a 50D Gaussian target, multiple 2D synthetic targets, UCI Bayesian logistic regression, multimodal Gaussian mixtures, Bayesian neural networks, and large-scale hierarchical logistic regression. Evaluation includes posterior-matching metrics, predictive performance, calibration quality, mixing, and explicit computational cost accounting. Across these six benchmark families, multirate SVGD variants improve robustness and quality-cost tradeoffs relative to vanilla SVGD. The strongest gains appear on stiff hierarchical, strongly anisotropic, and multimodal targets, where adaptive multirate SVGD is usually the strongest variant and fixed multirate SVGD provides a simpler robust alternative at lower cost.
• Abstract（参考訳）: 多くの粒子ベースのベイズ推定法は、更新のすべての部分に対して単一のグローバルステップサイズを使用する。 しかし、Stein variational gradient descent (SVGD) では、それぞれの更新は2つの質的な異なる効果、すなわち高次領域へのアトラクションと、粒子の多様性を保った反発を組み合わせている。 これらの効果は、特に高次元、異方性、階層的な後部において異なる速度で進化することができるため、ある領域では1つのステップサイズが不安定であり、他の領域では非効率である。 これらのコンポーネントを異なる時間スケールで更新するSVGDのマルチレートバージョンを導出する。 このフレームワークは、対称分割法、固定乗算法(MR-SVGD)、適応乗算法(Adapt-MR-SVGD)、局所誤差制御を含む実用的なアルゴリズムを生成する。 提案手法は,50Dガウス目標,複数2D合成目標,UCIベイジアンロジスティック回帰,多モードガウス混合,ベイジアンニューラルネットワーク,大規模階層ロジスティック回帰の6つの問題群をカバーする広範かつ厳密なベンチマークスイートで評価した。 評価には、後部マッチングメトリクス、予測性能、校正品質、混合、明示的な計算コスト会計が含まれる。 これら6つのベンチマークファミリの中で、マルチレートSVGDはバニラSVGDと比較して堅牢性と品質コストのトレードオフを改善している。 強利得は強階層的、強異方的、マルチモーダルなターゲットに現れ、適応的マルチレートSVGDは通常最強の変種であり、固定的マルチレートSVGDは低コストでより単純なロバストな代替手段を提供する。

関連論文リスト

• Flow-GRPO: Training Flow Matching Models via Online RL [80.62659379624867]
  本稿では,オンライン政策強化学習をフローマッチングモデルに統合する最初の方法であるFlow-GRPOを提案する。 提案手法では,(1)決定論的正規微分方程式を同値な微分方程式に変換するODE-to-SDE変換と,(2)推論ステップの数を維持しながらトレーニングの段階を短縮するDenoising Reduction戦略の2つの主要な戦略を用いる。
  論文  参考訳（メタデータ） (2025-05-08T17:58:45Z)
• Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding [5.584060970507506]
  スタイン変分勾配勾配(SVGD)は、ターゲット分布をサンプリングするために用いられる顕著な粒子ベースの変分勾配推定法である。 本稿では,深層展開(deep Openfolding)と呼ばれる深層学習手法をSVGDに組み込んだ,新しいトレーニング可能なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-23T06:24:57Z)
• Augmented Message Passing Stein Variational Gradient Descent [3.5788754401889014]
  収束過程における有限粒子の等方性特性について検討する。 すべての粒子は特定の範囲内で粒子中心の周りに集まる傾向にある。 提案アルゴリズムは, 種々のベンチマーク問題における分散崩壊問題を克服し, 良好な精度を実現する。
  論文  参考訳（メタデータ） (2023-05-18T01:13:04Z)
• Grassmann Stein Variational Gradient Descent [3.644031721554146]
  スタイン変分勾配降下(SVGD)は、マルコフ連鎖モンテカルロの効率的な代替となる決定論的粒子推論アルゴリズムである。 近年の進歩は、スコア関数とデータの両方を実際の行に投影してこの問題に対処することを提唱している。 任意の次元部分空間への射影を可能にする代替アプローチとして、グラスマンシュタイン変分勾配勾配(GSVGD)を提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:36:03Z)
• Exploiting Adam-like Optimization Algorithms to Improve the Performance of Convolutional Neural Networks [82.61182037130405]
  勾配降下(SGD)は深いネットワークを訓練するための主要なアプローチです。 本研究では,現在と過去の勾配の違いに基づいて,Adamに基づく変分を比較する。 resnet50を勾配降下訓練したネットワークのアンサンブルと融合実験を行った。
  論文  参考訳（メタデータ） (2021-03-26T18:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。