論文の概要: The Within-Orbit Adaptive Leapfrog No-U-Turn Sampler

• arxiv url: http://arxiv.org/abs/2506.18746v1
• Date: Mon, 23 Jun 2025 15:20:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:37.0513
• Title: The Within-Orbit Adaptive Leapfrog No-U-Turn Sampler
• Title（参考訳）: 軌道内適応型Leapfrog No-U-Turnサンプリング器
• Authors: Nawaf Bou-Rabee, Bob Carpenter, Tore Selland Kleppe, Sifan Liu,
• Abstract要約: Inside-Orbit Adaptive Leapfrog No-U-Turn Sampler (WALNUTS)を紹介する。 WALNUTSは、軌道が進化するにつれて、シミュレーション時間の一定間隔で跳躍ステップのサイズに適応する。 標準のNUTSに比べてサンプリング効率と堅牢性を大幅に向上させる。
• 参考スコア（独自算出の注目度）: 4.561296767255256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Locally adapting parameters within Markov chain Monte Carlo methods while preserving reversibility is notoriously difficult. The success of the No-U-Turn Sampler (NUTS) largely stems from its clever local adaptation of the integration time in Hamiltonian Monte Carlo via a geometric U-turn condition. However, posterior distributions frequently exhibit multi-scale geometries with extreme variations in scale, making it necessary to also adapt the leapfrog integrator's step size locally and dynamically. Despite its practical importance, this problem has remained largely open since the introduction of NUTS by Hoffman and Gelman (2014). To address this issue, we introduce the Within-orbit Adaptive Leapfrog No-U-Turn Sampler (WALNUTS), a generalization of NUTS that adapts the leapfrog step size at fixed intervals of simulated time as the orbit evolves. At each interval, the algorithm selects the largest step size from a dyadic schedule that keeps the energy error below a user-specified threshold. Like NUTS, WALNUTS employs biased progressive state selection to favor states with positions that are further from the initial point along the orbit. Empirical evaluations on multiscale target distributions, including Neal's funnel and the Stock-Watson stochastic volatility time-series model, demonstrate that WALNUTS achieves substantial improvements in sampling efficiency and robustness compared to standard NUTS.
• Abstract（参考訳）: マルコフ連鎖モンテカルロ法におけるパラメータの局所適応は可逆性を保つのが困難である。 No-U-Turn Sampler (NUTS) の成功は、幾何学的Uターン条件を通じて、ハミルトン・モンテカルロにおける積分時間の巧妙な局所的な適応に由来する。 しかし、後部分布は、極端に異なるスケールのマルチスケールのジオメトリーをしばしば示しており、また、跳躍積分器のステップサイズを局所的かつ動的に適応させる必要がある。 現実的な重要性にもかかわらず、この問題は Hoffman と Gelman (2014) による NUTS の導入以来、ほとんど未解決のままである。 この問題に対処するため、我々は、軌道の進行に伴ってシミュレーション時間の一定間隔で跳躍ステップサイズを適応するNUTSの一般化である、Inside-orbit Adaptive Leapfrog No-U-Turn Sampler (WALNUTS)を導入する。 各間隔で、このアルゴリズムは、エネルギーエラーをユーザが指定した閾値以下に保つダイアドスケジュールから最大のステップサイズを選択する。 NUTSと同様に、WALNUTSは軌道上の初期点からさらに離れた位置にある状態を選ぶために偏りのある進行状態選択を用いる。 NealのファンネルやStock-Watsonの確率的ボラティリティ時系列モデルを含むマルチスケールターゲット分布に関する実証的な評価は、WALNUTSが標準のNUTSと比較してサンプリング効率とロバスト性を大幅に向上することを示した。

関連論文リスト

• CANet: ChronoAdaptive Network for Enhanced Long-Term Time Series Forecasting under Non-Stationarity [0.0]
  本稿では,スタイル転送技術に触発された新しいアーキテクチャであるChoronoAdaptive Network (CANet)を紹介する。 CANetの中核は非定常適応正規化モジュールであり、スタイルブレンディングゲートと適応インスタンス正規化(AdaIN)をシームレスに統合する。 実世界のデータセットに関する実験は、CANetが最先端の手法よりも優れていることを検証し、MSEの42%、MAEの22%を達成している。
  論文  参考訳（メタデータ） (2025-04-24T20:05:33Z)
• ATLAS: Adapting Trajectory Lengths and Step-Size for Hamiltonian Monte Carlo [0.6526824510982802]
  ハミルトニアン・モンテカルロ (HMC) とその自動調整型であるNo U-Turn Sampler (NUTS) は複雑な測地で分布を正確にサンプリングするのに苦労する。 我々は,HMCのステップサイズパラメータを各イテレーションで適用するための戦略を開発し,局所ヘッセン分布の低ランク近似を評価する。 Uターンのない条件をモニタすることで、同様に軌道長を適応させる戦略を組み合わさり、適応型サンプリング器であるATLASを生み出した。
  論文  参考訳（メタデータ） (2024-10-28T22:41:01Z)
• Faster Sampling via Stochastic Gradient Proximal Sampler [28.422547264326468]
  非log-concave分布からのサンプリングのための近位サンプリング器 (SPS) について検討した。 対象分布への収束性は,アルゴリズムの軌道が有界である限り保証可能であることを示す。 我々は、Langevin dynamics(SGLD)とLangevin-MALAの2つの実装可能な変種を提供し、SPS-SGLDとSPS-MALAを生み出した。
  論文  参考訳（メタデータ） (2024-05-27T00:53:18Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Sampling Approximately Low-Rank Ising Models: MCMC meets Variational Methods [35.24886589614034]
  一般相互作用が$J$である超キューブ上の二次定値イジングモデルを考える。 我々の一般的な結果は、低ランクのIsingモデルに対する最初のサンプリングアルゴリズムを示唆している。
  論文  参考訳（メタデータ） (2022-02-17T21:43:50Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Minibatch vs Local SGD with Shuffling: Tight Convergence Bounds and Beyond [63.59034509960994]
  シャッフルに基づく変種(ミニバッチと局所ランダムリシャッフル)について検討する。 ポリアック・ロジャシエヴィチ条件を満たす滑らかな函数に対して、これらのシャッフル型不変量(英語版)(shuffling-based variants)がそれらの置換式よりも早く収束することを示す収束境界を得る。 我々は, 同期シャッフル法と呼ばれるアルゴリズムの修正を提案し, ほぼ均一な条件下では, 下界よりも収束速度が速くなった。
  論文  参考訳（メタデータ） (2021-10-20T02:25:25Z)
• On the Convergence of Stochastic Extragradient for Bilinear Games with Restarted Iteration Averaging [96.13485146617322]
  本稿では, ステップサイズが一定であるSEG法の解析を行い, 良好な収束をもたらす手法のバリエーションを示す。 平均化で拡張した場合、SEGはナッシュ平衡に確実に収束し、スケジュールされた再起動手順を組み込むことで、その速度が確実に加速されることを証明した。
  論文  参考訳（メタデータ） (2021-06-30T17:51:36Z)
• Positive-Negative Momentum: Manipulating Stochastic Gradient Noise to Improve Generalization [89.7882166459412]
  勾配雑音(SGN)は、ディープラーニングの暗黙の正規化として機能する。 深層学習を改善するためにランダムノイズを注入してSGNを人工的にシミュレートしようとした作品もある。 低計算コストでSGNをシミュレーションし、学習率やバッチサイズを変更することなく、PNM(Positive-Negative Momentum)アプローチを提案する。
  論文  参考訳（メタデータ） (2021-03-31T16:08:06Z)
• Variance Reduction in Training Forecasting Models with Subgroup Sampling [34.941630385114216]
  一般的に用いられる勾配(例)の予測モデルを示す。 sgd) 大きなばらつきがあり、長時間のトレーニングが必要となる。 この問題を軽減するために,サブグループサンプリングというサンプリング戦略を提案する。 SCottは勾配と壁面時計の両方の目標に対してより高速に収束することを示す。
  論文  参考訳（メタデータ） (2021-03-02T22:23:27Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。