論文の概要: Improved Analysis for Hessian-free High-resolution Monte Carlo Sampling

• arxiv url: http://arxiv.org/abs/2608.25052v1
• Date: Tue, 25 Aug 2026 18:42:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.413583
• Title: Improved Analysis for Hessian-free High-resolution Monte Carlo Sampling
• Title（参考訳）: ヘッセンフリー高分解能モンテカルロサンプリングの高性能化
• Abstract要約: Hessian-free High- resolution (HFHR) dynamics augments underdamped Langevin dynamics (ULD) 我々は,ポアンカレの不等式の下で,HFHR力学に対する明示的な定量的収縮速度を確立する。 時間拡張されたポアンカレの不等式は、ランゲヴィン力学の収縮率を改善する明示的な速度をもたらす。
• 参考スコア（独自算出の注目度）: 7.336637417508747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hessian-free high-resolution (HFHR) dynamics augments underdamped Langevin dynamics (ULD) with reversible position diffusion for sampling problems that arise in machine learning. We establish an explicit quantitative contraction rate for HFHR dynamics under a position Poincaré inequality, weighted Hessian and Laplacian bounds, and a compact Sobolev embedding, where the potential function is not necessarily convex. An adapted time-augmented Poincaré inequality yields an explicit rate that improves upon the contraction rate of the underdamped Langevin dynamics. We also give a weak-solution construction and a self-contained spectral proof of the divergence lemma underlying the argument. For HFHR Monte Carlo (HFHRMC) algorithm, which is based on a discretization scheme of HFHR dynamics, we use a path-space Girsanov argument to obtain a non-asymptotic convergence bound and an explicit iteration complexity in total variation distance. The bounds hold for every $α\geq0$ and $γ>0$ and remain regular at the ULD endpoint. Optimizing the iteration complexity bound yields a positive, accuracy-dependent position-diffusion parameter at finite accuracy, while its leading high-accuracy order coincides with that of the optimized ULD endpoint. Our iteration complexity bound improves upon the existing work on HFHR algorithms. Numerical experiments including Bayesian learning problems on real data are provided to illustrate the effect of positive $α$ and its benefit.
• Abstract（参考訳）: ヘシアンフリー高分解能ダイナミックス(HFHR)は、機械学習で発生するサンプリング問題に対して可逆的な位置拡散を伴うアンダーダムドランゲヴィンダイナミクス(ULD)を増強する。 我々は、ポアンカレの不等式、重み付きヘッセンおよびラプラシア境界、ポテンシャル関数が必ずしも凸であるとは限らないコンパクトなソボレフ埋め込みの下で、HFHR力学の明示的な定量的収縮速度を確立する。 時間拡張されたポアンカレの不等式は、アンダーダムのランゲヴィン力学の収縮率を改善する明示的な速度をもたらす。 また、弱解構成と、議論の根底にある分散補題の自己完結スペクトル証明を与える。 HFHR 力学の離散化スキームに基づく HFHR Monte Carlo (HFHRMC) アルゴリズムに対して、経路空間 Girsanov 引き数を用いて、非漸近収束境界と全変動距離における明示的な反復複雑性を得る。 境界はすべての$α\geq0$と$γ>0$を保ち、 ULD の終点で正則である。 反復複雑性を最適化すると、有限精度で正の精度依存的な位置拡散パラメータが得られ、その先行する高精度順序は最適化されたUDDエンドポイントと一致する。 私たちのイテレーションの複雑さは、既存のHFHRアルゴリズムの作業を改善します。 実データに対するベイズ学習問題を含む数値実験は、正の$α$の効果とその利益を示すものである。

関連論文リスト

• Error estimates for tamed Euler and Randomized Euler schemes for SDEs with locally Lipschitz drift with applications to non-logconcave sampling and optimization [0.0]
  局所的なリプシッツによる微分方程式の数値的な離散化、超最適に成長するドリフト、そしてソボレフの不等式を満たす非対数凹分布からのサンプリングがもたらす意味について検討する。 超線形成長下での無作為なランダム化ランゲヴィンスキームの総変分における非漸近的保証を初めて確立する。
  論文  参考訳（メタデータ） (2026-05-24T08:35:24Z)
• Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
  プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。 我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。 重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
  論文  参考訳（メタデータ） (2026-02-24T05:32:03Z)
• Sampling non-log-concave densities via Hessian-free high-resolution dynamics [8.014749318189851]
  本研究では,Hessian-free- resolution (HFHR) プロセスのターゲット分布 $(q)prop e-U(q) からのサンプリング問題について検討する。 我々は、$blana U$ linear growth が無限大であるという追加の仮定の下で、HFHR 力学の収縮は KLD よりも厳密に優れていることを示す。
  論文  参考訳（メタデータ） (2026-01-06T05:38:09Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• Flatness-Aware Stochastic Gradient Langevin Dynamics [8.884140046635268]
  ディープラーニングアルゴリズムの一般化は、ロスランドスケープにおける平坦なミニマの追求に収束する。 グラディエント・ランゲヴィン・ダイナミクス(SGLD)は、そのような低トレース正規化目標を確立するバイアスを与えないことを示す。
  論文  参考訳（メタデータ） (2025-10-02T16:24:46Z)
• Controlling the Flow: Stability and Convergence for Stochastic Gradient Descent with Decaying Regularization [5.582101184758528]
  我々は、余分な有界性仮定を伴わない元の問題の最小ノルム解に対して、reg-SGDの強い収束性を証明する。 分析の結果,Tikhonov正則化がSGDの流れを制御し,安定した学習力学が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-16T16:53:49Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
  平均場ランゲヴィン力学の収束速度解析について述べる。 ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
  論文  参考訳（メタデータ） (2022-01-25T17:13:56Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。