論文の概要: Further analysis of multilevel Stein variational gradient descent with an application to the Bayesian inference of glacier ice models

• arxiv url: http://arxiv.org/abs/2212.03366v2
• Date: Sat, 29 Apr 2023 18:18:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 19:00:50.040943
• Title: Further analysis of multilevel Stein variational gradient descent with an application to the Bayesian inference of glacier ice models
• Title（参考訳）: 氷河氷モデルのベイズ推定への応用による多段階スタイン変分勾配降下のさらなる解析
• Authors: Terrence Alsup and Tucker Hartland and Benjamin Peherstorfer and Noemi Petra
• Abstract要約: 多レベルスタイン変分勾配勾配は粒子に基づく変分推論の方法である。 単レベルスタイン変分勾配勾配の指数収束速度は、反復変動パラメータに依存する。 マルチレベルバージョンは、シングルレベルバージョンに比べて桁違いのスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilevel Stein variational gradient descent is a method for particle-based variational inference that leverages hierarchies of surrogate target distributions with varying costs and fidelity to computationally speed up inference. The contribution of this work is twofold. First, an extension of a previous cost complexity analysis is presented that applies even when the exponential convergence rate of single-level Stein variational gradient descent depends on iteration-varying parameters. Second, multilevel Stein variational gradient descent is applied to a large-scale Bayesian inverse problem of inferring discretized basal sliding coefficient fields of the Arolla glacier ice. The numerical experiments demonstrate that the multilevel version achieves orders of magnitude speedups compared to its single-level version.
• Abstract（参考訳）: 多レベルスタイン変分勾配勾配は、様々なコストと忠実さで代理対象分布の階層性を活用し、推論を計算的に高速化する粒子ベースの変分勾配勾配法である。 この作品の貢献は2つある。 まず, 単レベルスタイン変分勾配勾配の指数収束速度が反復変動パラメータに依存する場合においても, 従来のコスト複雑性解析の拡張を示す。 第2に,アロラ氷河の離散基底すべり係数場を推定する大規模ベイズ逆問題に対して,多値スタイン変分勾配勾配を適用した。 数値実験により、マルチレベルバージョンはシングルレベルバージョンに比べて桁違いのスピードアップを達成することが示された。

関連論文リスト

• Limit Theorems for Stochastic Gradient Descent with Infinite Variance [47.87144151929621]
  この勾配降下アルゴリズムは、適切なL'evy過程によって駆動されるオルンシュタイン-ルンシュタイン過程の定常分布として特徴付けられることを示す。 また、これらの結果の線形回帰モデルおよびロジスティック回帰モデルへの応用についても検討する。
  論文  参考訳（メタデータ） (2024-10-21T09:39:10Z)
• Regularized Stein Variational Gradient Flow [22.69908798297709]
  Stein Variational Gradient Descent (SVGD)アルゴリズムは、サンプリングのための決定論的粒子法である。 本研究では, 定常変分勾配流とワッサーシュタイン勾配流とを補間する正規化スタイン変分勾配流を提案する。
  論文  参考訳（メタデータ） (2022-11-15T02:56:46Z)
• Do Differentiable Simulators Give Better Policy Gradients? [62.54538644503705]
  剛性や不連続性などの物理系の特性が一階推定器の有効性を損なう可能性があることを示す。 さらに、[01]$に$alphaを持つ$alpha$-order gradient estimatorを提案し、これは正確な勾配を正しく利用し、一階推定の効率とゼロ階法の堅牢性を組み合わせる。
  論文  参考訳（メタデータ） (2022-02-02T00:12:28Z)
• On Training Implicit Models [75.20173180996501]
  ファントム勾配(ファントム勾配)と呼ばれる暗黙モデルに対する新しい勾配推定法を提案し、正確な勾配の計算コストを抑える。 大規模タスクの実験では、これらの軽量ファントム勾配が暗黙の訓練モデルの後方通過を約1.7倍加速することを示した。
  論文  参考訳（メタデータ） (2021-11-09T14:40:24Z)
• Multidirectional Conjugate Gradients for Scalable Bundle Adjustment [57.18172547021947]
  本稿では,正規方程式の解を最大61%高速化する手法を提案する。 複数の探索方向を含む古典的条件付き共役勾配の探索空間を拡大する。 結果として得られたアルゴリズムは、より少ないイテレーションを必要とするため、大規模な再構築の大幅なスピードアップにつながる。
  論文  参考訳（メタデータ） (2021-10-08T10:21:44Z)
• Multilevel Stein variational gradient descent with applications to Bayesian inverse problems [0.9023847175654603]
  この研究は、ターゲット分布からより効率的にサンプリングするために、スタイン変分勾配勾配の多値変分を示す。 ベイズ逆問題を用いた数値実験では, 最大レベルのみを使用する単レベル変種と比較して, 提案した多レベルスタイン法の1桁以上の高速化を示す。
  論文  参考訳（メタデータ） (2021-04-05T15:07:16Z)
• Stein Variational Gradient Descent: many-particle and long-time asymptotics [0.0]
  スタイン変動勾配降下 (SVGD) は相互作用する粒子系に基づくベイズ推論の方法のクラスを指す。 ステイン幾何学の余接空間構成を開発し,その基本的な性質を証明し,多粒子極限を規定する大退化汎関数を決定する。 Stein-Fisherの情報は、長期および多粒子体制における主要な注文貢献として識別されます。
  論文  参考訳（メタデータ） (2021-02-25T16:03:04Z)
• A Study of Gradient Variance in Deep Learning [56.437755740715396]
  階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。 我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
  論文  参考訳（メタデータ） (2020-07-09T03:23:10Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。