論文の概要: Multilevel Stein variational gradient descent with applications to
Bayesian inverse problems
- arxiv url: http://arxiv.org/abs/2104.01945v1
- Date: Mon, 5 Apr 2021 15:07:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-06 19:22:55.016119
- Title: Multilevel Stein variational gradient descent with applications to
Bayesian inverse problems
- Title（参考訳）: 多レベルスタイン変分勾配降下とベイズ逆問題への応用
- Authors: Terrence Alsup and Luca Venturi and Benjamin Peherstorfer
- Abstract要約: この研究は、ターゲット分布からより効率的にサンプリングするために、スタイン変分勾配勾配の多値変分を示す。
ベイズ逆問題を用いた数値実験では, 最大レベルのみを使用する単レベル変種と比較して, 提案した多レベルスタイン法の1桁以上の高速化を示す。
- 参考スコア（独自算出の注目度）: 0.9023847175654603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents a multilevel variant of Stein variational gradient descent
to more efficiently sample from target distributions. The key ingredient is a
sequence of distributions with growing fidelity and costs that converges to the
target distribution of interest. For example, such a sequence of distributions
is given by a hierarchy of ever finer discretization levels of the forward
model in Bayesian inverse problems. The proposed multilevel Stein variational
gradient descent moves most of the iterations to lower, cheaper levels with the
aim of requiring only a few iterations on the higher, more expensive levels
when compared to the traditional, single-level Stein variational gradient
descent variant that uses the highest-level distribution only. Under certain
assumptions, in the mean-field limit, the error of the proposed multilevel
Stein method decays by a log factor faster than the error of the single-level
counterpart with respect to computational costs. Numerical experiments with
Bayesian inverse problems show speedups of more than one order of magnitude of
the proposed multilevel Stein method compared to the single-level variant that
uses the highest level only.
- Abstract（参考訳）: この研究は、ターゲット分布からより効率的にサンプリングするために、スタイン変分勾配勾配の多値変分を示す。
鍵となる要素は、関心のターゲット分布に収束する忠実度とコストの増大を伴う分布列である。
例えば、そのような分布列はベイズ逆問題におけるフォワードモデルのより微細な離散化レベルの階層によって与えられる。
提案するマルチレベル・スタイン変分勾配降下(英語版)は、従来の単一レベル変分勾配降下型(英語版)と比較して、高レベル・高価格の段階においてほんの数回のイテレーションを必要とせず、ほとんどのイテレーションをより低い、より安価なレベルへ移動させる。
ある仮定では、平均場限界において、提案した多値スタイン法の誤差は、計算コストに対して単値の誤差よりも高速にログ係数によって減衰する。
ベイズ逆問題を用いた数値実験では, 最大レベルのみを使用する単レベル変種と比較して, 提案した多レベルスタイン法の1桁以上の高速化を示す。
関連論文リスト
- Equivalence of cost concentration and gradient vanishing for quantum circuits: An elementary proof in the Riemannian formulation [0.0]
量子回路の最適化は、システムサイズが大きくなる平均勾配振幅の減衰によって妨げられる。
ヴァレンプラトー問題(Barren Plateau problem)は、コスト-関数差のばらつきの指数的崩壊と等価である。
論文 参考訳（メタデータ） (2024-02-12T18:48:50Z) - Further analysis of multilevel Stein variational gradient descent with
an application to the Bayesian inference of glacier ice models [0.0]
多レベルスタイン変分勾配勾配は粒子に基づく変分推論の方法である。
単レベルスタイン変分勾配勾配の指数収束速度は、反復変動パラメータに依存する。
マルチレベルバージョンは、シングルレベルバージョンに比べて桁違いのスピードアップを実現している。
論文 参考訳（メタデータ） (2022-12-06T23:26:19Z) - A Finite-Particle Convergence Rate for Stein Variational Gradient
Descent [47.6818454221125]
我々は、スタイン変分降下勾配(SVGD)に対する第1次有限粒子収束速度を提供する。
我々の明示的で非漸近的な証明戦略は、将来の改良のためのテンプレートとして役立ちます。
論文 参考訳（メタデータ） (2022-11-17T17:50:39Z) - Faster One-Sample Stochastic Conditional Gradient Method for Composite
Convex Minimization [61.26619639722804]
滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。
提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
論文 参考訳（メタデータ） (2022-02-26T19:10:48Z) - Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and
Beyond [63.59034509960994]
シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。
ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。
我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
論文 参考訳（メタデータ） (2021-10-20T02:25:25Z) - A Cram\'er Distance perspective on Non-crossing Quantile Regression in
Distributional Reinforcement Learning [2.28438857884398]
QR-DQNのような量子ベースのメソッドは、任意の分布を階段分布のパラメトリックサブセットに投影する。
本研究では,不確実性に基づく探索戦略におけるQR-DQNの性能向上のために,量子化の単調性制約が示されていることを示す。
そこで我々は,新しいアルゴリズムを用いてクラム距離を計算し,優れたトレーニング性能を実現する,新しい非交差ニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-10-01T17:00:25Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳（メタデータ） (2021-07-21T17:10:14Z) - A Study of Gradient Variance in Deep Learning [56.437755740715396]
階層化サンプリングによる平均ミニバッチ勾配のばらつきを最小化する手法であるグラディエントクラスタリングを導入する。
我々は、一般的なディープラーニングベンチマークの勾配分散を測定し、一般的な仮定に反して、トレーニング中に勾配分散が増加することを観察する。
論文 参考訳（メタデータ） (2020-07-09T03:23:10Z) - A Multilevel Approach to Training [0.0]
本稿では, 離散化大規模偏微分方程式の解法としてよく用いられる非線形多値法に基づく新しい学習法を提案する。
本手法は,サンプル数を減らして階層構造を構築する。
元のモデルのトレーニングは、より少ないサンプルで構築されたシュロゲートモデルを内部でトレーニングすることで強化される。
論文 参考訳（メタデータ） (2020-06-28T13:34:48Z) - Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。
我々は、測定値の低減を行う降下ステップを適応的に選択する。
これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
論文 参考訳（メタデータ） (2020-06-02T17:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。