論文の概要: Further analysis of multilevel Stein variational gradient descent with an application to the Bayesian inference of glacier ice models

• arxiv url: http://arxiv.org/abs/2212.03366v1
• Date: Tue, 6 Dec 2022 23:26:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 17:28:36.339154
• Title: Further analysis of multilevel Stein variational gradient descent with an application to the Bayesian inference of glacier ice models
• Title（参考訳）: 氷河氷モデルのベイズ推定への応用による多段階スタイン変分勾配降下のさらなる解析
• Authors: Terrence Alsup and Tucker Hartland and Benjamin Peherstorfer and Noemi Petra
• Abstract要約: この研究は多レベルスタイン変分勾配勾配のコスト複雑性解析を提供する。 スタイン変分勾配勾配の収束速度は、多層版におけるコストの複雑さの定数因子としてのみ現れる。 アロラ氷河の離散基底すべり係数場を推定するベイズ逆問題による数値実験により,多レベルスタイン変分勾配勾配は,その単層版に比べて桁違いの速度アップを達成できることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilevel Stein variational gradient descent is a method for particle-based variational inference that leverages hierarchies of approximations of target distributions with varying costs and fidelity to computationally speed up inference. This work provides a cost complexity analysis of multilevel Stein variational gradient descent that applies under milder conditions than previous results, especially in discrete-in-time regimes and beyond the limited settings where Stein variational gradient descent achieves exponentially fast convergence. The analysis shows that the convergence rate of Stein variational gradient descent enters only as a constant factor for the cost complexity of the multilevel version, which means that the costs of the multilevel version scale independently of the convergence rate of Stein variational gradient descent on a single level. Numerical experiments with Bayesian inverse problems of inferring discretized basal sliding coefficient fields of the Arolla glacier ice demonstrate that multilevel Stein variational gradient descent achieves orders of magnitude speedups compared to its single-level version.
• Abstract（参考訳）: 多レベルスタイン変分勾配降下 (multilevel stein variational gradient descent) は、目標分布の近似の階層を、様々なコストと計算速度アップに対する忠実度で活用する、粒子ベースの変分推定の手法である。 この研究は、従来の結果よりも軽度の条件で適用され、特に離散時間的状態や、指数関数的に高速な収束を達成するような限定的な条件を超えて、多レベルスタイン変分勾配勾配のコスト複雑性解析を提供する。 解析の結果、スタイン変分勾配降下の収束速度は、マルチレベルバージョンにおけるコスト複雑性の定数因子としてのみ入ることを示し、これは、スタイン変分勾配降下の収束速度とは無関係に、マルチレベルバージョンスケールのコストが1つのレベルにあることを示している。 アロラ氷河の離散基底すべり係数場を推定するベイズ逆問題による数値実験により,多レベルスタイン変分勾配勾配は,その単層版に比べて桁違いの速度アップを達成することが示された。

関連論文リスト

• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• Regularized Stein Variational Gradient Flow [22.69908798297709]
  Stein Variational Gradient Descent (SVGD)アルゴリズムは、サンプリングのための決定論的粒子法である。 本研究では, 定常変分勾配流とワッサーシュタイン勾配流とを補間する正規化スタイン変分勾配流を提案する。
  論文  参考訳（メタデータ） (2022-11-15T02:56:46Z)
• Do Differentiable Simulators Give Better Policy Gradients? [62.54538644503705]
  剛性や不連続性などの物理系の特性が一階推定器の有効性を損なう可能性があることを示す。 さらに、[01]$に$alphaを持つ$alpha$-order gradient estimatorを提案し、これは正確な勾配を正しく利用し、一階推定の効率とゼロ階法の堅牢性を組み合わせる。
  論文  参考訳（メタデータ） (2022-02-02T00:12:28Z)
• On Training Implicit Models [75.20173180996501]
  ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。 大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
  論文  参考訳（メタデータ） (2021-11-09T14:40:24Z)
• Multidirectional Conjugate Gradients for Scalable Bundle Adjustment [57.18172547021947]
  本稿では,正規方程式の解を最大61%高速化する手法を提案する。 複数の探索方向を含む古典的条件付き共役勾配の探索空間を拡大する。 結果として得られたアルゴリズムは、より少ないイテレーションを必要とするため、大規模な再構築の大幅なスピードアップにつながる。
  論文  参考訳（メタデータ） (2021-10-08T10:21:44Z)
• Multilevel Stein variational gradient descent with applications to Bayesian inverse problems [0.9023847175654603]
  この研究は、ターゲット分布からより効率的にサンプリングするために、スタイン変分勾配勾配の多値変分を示す。 ベイズ逆問題を用いた数値実験では, 最大レベルのみを使用する単レベル変種と比較して, 提案した多レベルスタイン法の1桁以上の高速化を示す。
  論文  参考訳（メタデータ） (2021-04-05T15:07:16Z)
• Stein Variational Gradient Descent: many-particle and long-time asymptotics [0.0]
  スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。 ステイン幾何学の余接空間構成を開発し,その基本的な性質を証明し,多粒子極限を規定する大退化汎関数を決定する。 Stein-Fisherの情報は、長期および多粒子体制における主要な注文貢献として識別されます。
  論文  参考訳（メタデータ） (2021-02-25T16:03:04Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。