論文の概要: Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
- arxiv url: http://arxiv.org/abs/2607.15208v1
- Date: Thu, 16 Jul 2026 17:07:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:33.1817
- Title: Delocalization of bias in unadjusted Hamiltonian Monte Carlo and underdamped Langevin
- Title(参考訳): 非調整ハミルトニアンモンテカルロにおけるバイアスの非局在化とアンダーダムランゲヴィン
- Abstract要約: 調整されていないハミルトンのモンテカルロやアンダーダムのランゲヴィンのような調整されていないサンプルは偏見が知られている。
任意の$K$次元分布の$W$バイアスを制御するために、$O(sqrtK)$積分ステップは$log d$$まで十分であることを示す。
アンダーダム化ランゲヴィンアルゴリズムの結果は全ての大きな摩擦パラメータに対して有効であり、ランゲヴィン力学に対するライムクラー・マシューズ積分器もまたバイアスの非局在化を示すことを示唆している。
- 参考スコア(独自算出の注目度): 21.64772960240025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Unadjusted samplers such as unadjusted Hamiltonian Monte Carlo and underdamped Langevin are well-known to be biased. Metropolis--Hastings adjustment has been conventionally incorporated into Hamiltonian Monte Carlo to eliminate the bias. However, this adjustment can significantly increase the iteration complexity due to the small step size required for reasonable Metropolis acceptance rates. In this work, we extend the \emph{delocalization of bias} phenomenon, previously established for the overdamped Langevin algorithm, to these two unadjusted algorithms. We show that to control the $W_2$ bias of any $K$-dimensional marginal of a high-dimensional distribution, $O(\sqrt{K})$ integration steps suffice up to $\log d$ terms, assuming either weak or sparse interactions among variables. The discrete-time integrators here introduce technical difficulties beyond those of the overdamped setting, which we address through a broadly applicable matrix-polynomial framework that characterizes their propagators. Our result for the underdamped Langevin algorithm is valid for all large friction parameters, implying that the Leimkuhler-Matthews integrator for the overdamped Langevin dynamics also exhibits delocalization of bias.
- Abstract(参考訳): 調整されていないハミルトンのモンテカルロやアンダーダムのランゲヴィンのような調整されていないサンプルは偏見が知られている。
メトロポリス-ハスティングス調整は、偏見を排除するために伝統的にハミルトン・モンテカルロに組み入れられている。
しかし、この調整は、適切なメトロポリスの受け入れ速度に必要な小さなステップサイズのために、イテレーションの複雑さを著しく増大させる可能性がある。
本研究では, 過度に損傷したランゲヴィンアルゴリズムのために以前に確立された「バイアスの非局在化」現象を, これら2つの非調整アルゴリズムに拡張する。
高次元分布の任意の$K$-次元辺の$W_2$バイアスを制御するために、$O(\sqrt{K})$積分ステップは変数間の弱いあるいはスパースな相互作用を仮定して$\log d$項まで十分であることを示す。
ここでは、離散時間積分器は、過度に破壊された設定以上の技術的困難を導入し、それらのプロパゲータを特徴づける広く適用可能な行列-ポリノミカルフレームワークを通して対処する。
アンダーダム化ランゲヴィンアルゴリズムの結果は全ての大きな摩擦パラメータに対して有効であり、ランゲヴィン力学に対するライムクラー・マシューズ積分器もまたバイアスの非局在化を示すことを示唆している。
関連論文リスト
- Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
基本的で長期にわたる課題は、その効率的な近似である。
一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。
本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
論文 参考訳(メタデータ) (2026-04-09T16:38:14Z) - Dimension-Independent Convergence of Underdamped Langevin Monte Carlo in KL Divergence [50.719298242863744]
Underdamped Langevin dynamics (ULD) は Gibbs 分布の$propto e-V$ に広く使われているサンプルである。
離散化LDDにおける最初の次元自由なKL分散境界を証明した。
論文 参考訳(メタデータ) (2026-03-02T22:14:38Z) - Regularized Online RLHF with Generalized Bilinear Preferences [68.44113000390544]
一般的な嗜好を伴う文脈的オンラインRLHFの問題を考える。
一般化された双線形選好モデルを用いて、低ランクなスキュー対称行列による選好を捉える。
グリーディポリシーの双対ギャップは推定誤差の正方形によって有界であることを示す。
論文 参考訳(メタデータ) (2026-02-26T15:27:53Z) - Low-degree Lower bounds for clustering in moderate dimension [53.03724383992195]
我々は、$n$点を$K$群にクラスタリングする根本的な問題を、$mathbbRd$における等方ガウスの混合から引き出された。
我々は、$n leq dK$のクラスタリングの難しさは次元の縮小とスペクトル法によって引き起こされるが、中等次元のレジームはより微妙な現象を伴い、「非最適率」につながることを示した。
我々は、この速度にマッチする新しい非スペクトルアルゴリズムを提案し、中等次元のクラスタリング問題の計算限界に新しい光を当てる。
論文 参考訳(メタデータ) (2026-02-26T14:03:55Z) - Convergence of Unadjusted Langevin in High Dimensions: Delocalization of Bias [21.64772960240025]
問題の次元が$d$になるにつれて、所望の誤差内で収束を保証するのに必要なイテレーションの数が増加することを示す。
私たちが取り組んだ重要な技術的課題は、収束を測定するための$W_2,ellinfty$メートル法に一段階の縮約性がないことである。
論文 参考訳(メタデータ) (2024-08-20T01:24:54Z) - Symmetric Mean-field Langevin Dynamics for Distributional Minimax
Problems [78.96969465641024]
平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。
また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
論文 参考訳(メタデータ) (2023-12-02T13:01:29Z) - Breaking the Heavy-Tailed Noise Barrier in Stochastic Optimization Problems [56.86067111855056]
構造密度の重み付き雑音によるクリップ最適化問題を考察する。
勾配が有限の順序モーメントを持つとき、$mathcalO(K-(alpha - 1)/alpha)$よりも高速な収束率が得られることを示す。
得られた推定値が無視可能なバイアスと制御可能な分散を持つことを示す。
論文 参考訳(メタデータ) (2023-11-07T17:39:17Z) - When does Metropolized Hamiltonian Monte Carlo provably outperform
Metropolis-adjusted Langevin algorithm? [4.657614491309671]
本研究では, 磁化ハミルトン・モンテカルロ (HMC) と跳躍フロッグ積分器の混合時間について解析した。
連続HMC力学の離散化における位置と速度変数の結合分布は, ほぼ不変であることを示す。
論文 参考訳(メタデータ) (2023-04-10T17:35:57Z) - Faster high-accuracy log-concave sampling via algorithmic warm starts [6.117084972237769]
実際には、古典的なメトロポリス調整ランゲヴィンアルゴリズム(MALA)のような高精度なサンプリング器は事実上のゴールド標準のままである。
我々は,このサンプリング問題の次元依存性を$tildeO(d1/2)$に改善し,MALAでは$tildeO(d1/2)$とした。
我々の主な技術的貢献は、離散化アンダーダム化ランゲヴィン拡散に対する最初の$tildeO(d1/2)$ R'enyi混合速度を確立することでこの問題を解決することである。
論文 参考訳(メタデータ) (2023-02-20T19:27:21Z) - Removing the mini-batching error in Bayesian inference using Adaptive
Langevin dynamics [0.0]
我々は、動的摩擦を伴う標準慣性ランゲヴィン力学の修正である、Adaptive Langevin dynamics(アダプティブランゲヴィン力学)を提唱する。
本稿では,Adaptive Langevinの前提となる仮定の実践的妥当性について検討する。
論文 参考訳(メタデータ) (2021-05-21T13:39:39Z) - Optimal dimension dependence of the Metropolis-Adjusted Langevin
Algorithm [22.19906823739798]
ログスムースと強くログ凹分布のクラス上のMALAの混合時間は$O(d)$です。
メトロポリタン調整の投影特性に基づく新しい技術は、ランゲビンSDEのよく研究された離散分析にMALAの研究を減少させる。
論文 参考訳(メタデータ) (2020-12-23T17:14:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。