論文の概要: On the convergence of dynamic implementations of Hamiltonian Monte Carlo and No U-Turn Samplers

• arxiv url: http://arxiv.org/abs/2307.03460v1
• Date: Fri, 7 Jul 2023 08:44:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-10 12:59:19.167022
• Title: On the convergence of dynamic implementations of Hamiltonian Monte Carlo and No U-Turn Samplers
• Title（参考訳）: ハミルトニアン・モンテカルロとNo U-Turn Samplersの動的実装の収束について
• Authors: Alain Durmus, Samuel Gruffaz, Miika Kailas, Eero Saksman and Matti Vihola
• Abstract要約: 我々は、動的MCと呼ばれるMCMCアルゴリズムの一般クラスを考える。 この一般的なフレームワークは、特定のケースとしてNUTSを包含していることを示す。 HMCに類似した条件下では、NUTSは幾何学的にエルゴード的であることも示している。
• 参考スコア（独自算出の注目度）: 10.3746158091354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is substantial empirical evidence about the success of dynamic implementations of Hamiltonian Monte Carlo (HMC), such as the No U-Turn Sampler (NUTS), in many challenging inference problems but theoretical results about their behavior are scarce. The aim of this paper is to fill this gap. More precisely, we consider a general class of MCMC algorithms we call dynamic HMC. We show that this general framework encompasses NUTS as a particular case, implying the invariance of the target distribution as a by-product. Second, we establish conditions under which NUTS is irreducible and aperiodic and as a corrolary ergodic. Under conditions similar to the ones existing for HMC, we also show that NUTS is geometrically ergodic. Finally, we improve existing convergence results for HMC showing that this method is ergodic without any boundedness condition on the stepsize and the number of leapfrog steps, in the case where the target is a perturbation of a Gaussian distribution.
• Abstract（参考訳）: No U-Turn Sampler (NUTS) のようなハミルトン・モンテカルロ(HMC)の動的実装の成功に関する実証的な証拠は、多くの困難な推論問題において存在するが、それらの振る舞いに関する理論的結果は乏しい。 本論文の目的は,このギャップを埋めることである。 より正確には、動的HMCと呼ぶMCMCアルゴリズムの一般クラスを考える。 この一般的なフレームワークは、NUTSを特定のケースとして包含しており、対象分布の不変性を副産物として示している。 第2に, NUTSが不可避かつ非周期的であり, 副次的エルゴディックである条件を確立する。 HMCに類似した条件下では、NUTSは幾何学的にエルゴード的であることも示している。 最後に,本手法がガウス分布の摂動である場合,ステップ化と跳躍ステップ数において有界性条件を伴わないエルゴードであることを示すhmcの既存の収束結果を改善する。

関連論文リスト

• SpreadNUTS -- Moderate Dynamic Extension of Paths for No-U-Turn Sampling & Partitioning Visited Regions [0.0]
  本稿では,no-U-turn sampler (NUTS) として知られる特定のハミルトンモンテカルロ (HMC) アルゴリズムの変更を紹介する。 NUTS は NUTS よりも早くサンプル空間を探索することを目的としており、真分布への収束が NUTS より高速なサンプリング器を提供する。
  論文  参考訳（メタデータ） (2023-07-09T05:00:25Z)
• Quantum Metric Unveils Defect Freezing in Non-Hermitian Systems [1.2289361708127877]
  我々は、$mathcalPT$-symmetricと$mathcalPT$-breakkenモードの両方をホストする、正確に解ける非エルミート系の力学を研究する。 エルミート系とは対照的に, PT崩壊時間進化は欠陥凍結を引き起こすため, 断熱性に反することが明らかとなった。
  論文  参考訳（メタデータ） (2023-01-05T19:00:00Z)
• A signature of quantumness in pure decoherence control [0.0]
  量子ビット上の中間測定を等重畳ベースで行うデコヒーレンス低減手法について検討する。 我々は,測定の実施時間に関係なく,そのスキームが常に平均的なコヒーレンス向上につながる状況を示す。 平均コヒーレンスの損失を観測することは、ハミルトニアンにおける異なる項の非可換性から生じる非常に量子的な効果である。
  論文  参考訳（メタデータ） (2022-11-09T14:13:25Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Hamiltonian Monte Carlo with Asymmetrical Momentum Distributions [3.562271099341746]
  ハミルトンモンテカルロ (HMC) アルゴリズムに対する新しい収束解析法を提案する。 非対称運動量分布を持つ平らなHMCが重要な自己随伴性要件を破ることを示す。 我々は Alternating Direction HMC (AD-HMC) と呼ばれる改良版を提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:36:19Z)
• Stochastic Gradient Descent-Ascent and Consensus Optimization for Smooth Games: Convergence Analysis under Expected Co-coercivity [49.66890309455787]
  本稿では,SGDA と SCO の最終的な収束保証として,期待されるコヒーレンシティ条件を導入し,その利点を説明する。 定常的なステップサイズを用いた場合、両手法の線形収束性を解の近傍に証明する。 我々の収束保証は任意のサンプリングパラダイムの下で保たれ、ミニバッチの複雑さに関する洞察を与える。
  論文  参考訳（メタデータ） (2021-06-30T18:32:46Z)
• What Are Bayesian Neural Network Posteriors Really Like? [63.950151520585024]
  ハミルトニアンモンテカルロは、標準およびディープアンサンブルよりも大きな性能向上を達成できることを示す。 また,深部分布は標準SGLDとHMCに類似しており,標準変動推論に近いことが示された。
  論文  参考訳（メタデータ） (2021-04-29T15:38:46Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [58.900860437254885]
  まず,アルゴリズムの安定性が一般化保証の確立に失敗する凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対して、修正モーメントに基づく更新規則を解析し、一般化誤差の上界を認めることを示す。 強凸損失関数の特別な場合において、標準 SGDM の複数のエポックが SGDEM の特別な形式として一般化されるような運動量の範囲を見出す。
  論文  参考訳（メタデータ） (2021-02-26T18:58:29Z)
• On the Convergence of Continuous Constrained Optimization for Structure Learning [30.279796192573805]
  本稿では, 線形, 非線形, 共起ケースにおける構造学習における拡張ラグランジアン法 (ALM) と二次ペナルティ法 (QPM) の収束性を示す。 さらに、軽度条件下で、DAG溶液へのQPMの収束保証を確立する。
  論文  参考訳（メタデータ） (2020-11-23T00:29:37Z)
• Generalized Sliced Distances for Probability Distributions [47.543990188697734]
  我々は、一般化スライス確率測定(GSPM)と呼ばれる、幅広い確率測定値の族を紹介する。 GSPMは一般化されたラドン変換に根付いており、ユニークな幾何学的解釈を持つ。 GSPMに基づく勾配流を生成モデル応用に適用し、軽度な仮定の下では、勾配流が大域的最適に収束することを示す。
  論文  参考訳（メタデータ） (2020-02-28T04:18:00Z)
• On the Generalization of Stochastic Gradient Descent with Momentum [84.54924994010703]
  運動量に基づく勾配降下(SGD)の加速変種は、機械学習モデルを訓練する際に広く用いられる。 まず,標準重球運動量(SGDM)を持つSGDの複数のエポックに対する安定性ギャップが非有界となる凸損失関数が存在することを示す。 滑らかなリプシッツ損失関数に対しては、修正モーメントベースの更新規則、すなわち、幅広いステップサイズで初期運動量(SGDEM)を解析する。
  論文  参考訳（メタデータ） (2018-09-12T17:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。