論文の概要: ATLAS: Adapting Trajectory Lengths and Step-Size for Hamiltonian Monte Carlo

• arxiv url: http://arxiv.org/abs/2410.21587v1
• Date: Mon, 28 Oct 2024 22:41:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:44.424498
• Title: ATLAS: Adapting Trajectory Lengths and Step-Size for Hamiltonian Monte Carlo
• Title（参考訳）: ATLAS:ハミルトン・モンテカルロの軌道長とステップサイズに対応
• Authors: Chirag Modi,
• Abstract要約: ハミルトニアン・モンテカルロ (HMC) とその自動調整型であるNo U-Turn Sampler (NUTS) は複雑な測地で分布を正確にサンプリングするのに苦労する。 我々は,HMCのステップサイズパラメータを各イテレーションで適用するための戦略を開発し,局所ヘッセン分布の低ランク近似を評価する。 Uターンのない条件をモニタすることで、同様に軌道長を適応させる戦略を組み合わさり、適応型サンプリング器であるATLASを生み出した。
• 参考スコア（独自算出の注目度）: 0.6526824510982802
• License:
• Abstract: Hamiltonian Monte-Carlo (HMC) and its auto-tuned variant, the No U-Turn Sampler (NUTS) can struggle to accurately sample distributions with complex geometries, e.g., varying curvature, due to their constant step size for leapfrog integration and fixed mass matrix. In this work, we develop a strategy to locally adapt the step size parameter of HMC at every iteration by evaluating a low-rank approximation of the local Hessian and estimating its largest eigenvalue. We combine it with a strategy to similarly adapt the trajectory length by monitoring the no U-turn condition, resulting in an adaptive sampler, ATLAS: adapting trajectory length and step-size. We further use a delayed rejection framework for making multiple proposals that improves the computational efficiency of ATLAS, and develop an approach for automatically tuning its hyperparameters during warmup. We compare ATLAS with state-of-the-art samplers like NUTS on a suite of synthetic and real world examples, and show that i) unlike NUTS, ATLAS is able to accurately sample difficult distributions with complex geometries, ii) it is computationally competitive to NUTS for simpler distributions, and iii) it is more robust to the tuning of hyperparamters.
• Abstract（参考訳）: ハミルトニアン・モンテカルロ(HMC)とその自動調整型であるNo U-Turn Sampler(NUTS)は、跳躍積分と固定質量行列の一定のステップサイズのため、複雑な測地、例えば様々な曲率で分布を正確にサンプリングするのに苦労する。 本研究では,局所ヘッセン分布の低ランク近似を評価し,その最大固有値を推定することにより,HMCのステップサイズパラメータを各イテレーションで局所的に適応させる戦略を開発する。 その結果, 軌道長とステップサイズを適応する適応型サンプリング器ATLASが得られた。 我々はさらに、ATLASの計算効率を向上させる複数の提案を行うために遅延拒否フレームワークを使用し、ウォームアップ時にそのハイパーパラメータを自動的に調整するためのアプローチを開発する。 我々はATLASとNUTSのような最先端のサンプルを合成および実世界の一連の例で比較し、そのことを示す。 i) NUTSとは異なり、ATLASは複雑なジオメトリで難しい分布を正確にサンプリングすることができる。 二 より簡単な分布のため、NUTSと計算的に競合すること。 三 ハイパーパラメータのチューニングに頑丈であること。

関連論文リスト

• Self-Tuning Hamiltonian Monte Carlo for Accelerated Sampling [12.163119957680802]
  ハミルトニアンモンテカルロシミュレーションは、積分の時間ステップと積分の回数に大きく依存する。 このようなパラメータを自動的に調整する適応型汎用フレームワークを提案する。 損失と自己相関時間との良好な対応が確立できることを示す。
  論文  参考訳（メタデータ） (2023-09-24T09:35:25Z)
• Faster Stochastic Variance Reduction Methods for Compositional MiniMax Optimization [50.10952609321302]
  合成ミニマックス最適化は、さまざまな機械学習領域において重要な課題である。 構成最小最適化の現在の方法は、最適以下の複雑さや、大きなバッチサイズに大きく依存することによって悩まされている。 本稿では,Nested STOchastic Recursive Momentum (NSTORM)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T14:57:21Z)
• SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
  非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。 いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
  論文  参考訳（メタデータ） (2023-08-16T14:25:30Z)
• Optimization of Annealed Importance Sampling Hyperparameters [77.34726150561087]
  Annealed Importance Smpling (AIS) は、深層生成モデルの難易度を推定するために使われる一般的なアルゴリズムである。 本稿では、フレキシブルな中間分布を持つパラメータAISプロセスを提案し、サンプリングに少ないステップを使用するようにブリッジング分布を最適化する。 我々は, 最適化AISの性能評価を行い, 深部生成モデルの限界推定を行い, 他の推定値と比較した。
  論文  参考訳（メタデータ） (2022-09-27T07:58:25Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
  本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。 ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。 車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
  論文  参考訳（メタデータ） (2021-01-28T15:10:22Z)
• An Exact Solution Path Algorithm for SLOPE and Quasi-Spherical OSCAR [0.0]
  そこで本研究では,SLOPEの最適化重み付けにおける解の完全かつ正確な経路を提供する解経路アルゴリズムを提案する。 また、機能クラスタリングのための正規化シーケンス$lambda$の新しい設計を提案し、これは、回帰(QS-OSCAR)のための準球面および八角形収縮およびクラスタリングアルゴリズムと呼ばれる。
  論文  参考訳（メタデータ） (2020-10-29T12:03:22Z)
• Unbiased Gradient Estimation for Variational Auto-Encoders using Coupled Markov Chains [34.77971292478243]
  変分オートエンコーダ(VAE)は、オートエンコーダのようなアーキテクチャで2つのニューラルネットワークを持つ、潜伏変数モデルである。 ログ型勾配の偏りのない推定器を導入することにより,VAEのトレーニング手法を開発する。 偏りのない推定器を装着したVAEは予測性能が向上することを示した。
  論文  参考訳（メタデータ） (2020-10-05T08:11:55Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• Ensemble Slice Sampling: Parallel, black-box and gradient-free inference for correlated & multimodal distributions [0.0]
  スライスサンプリング (Slice Sampling) は、最小ハンドチューニングで目標分布の特性に適応するマルコフ連鎖モンテカルロアルゴリズムとして登場した。 本稿では,初期長さ尺度を適応的に調整することで,そのような困難を回避できるアルゴリズムであるEnsemble Slice Sampling(ESS)を紹介する。 これらのアフィン不変アルゴリズムは簡単に構築でき、手作業で調整する必要がなく、並列計算環境で容易に実装できる。
  論文  参考訳（メタデータ） (2020-02-14T19:00:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。