論文の概要: Tamed Stochastic Gradient Hamiltonian Monte Carlo

• arxiv url: http://arxiv.org/abs/2607.14862v1
• Date: Thu, 16 Jul 2026 11:36:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.083388
• Title: Tamed Stochastic Gradient Hamiltonian Monte Carlo
• Title（参考訳）: 確率勾配ハミルトンモンテカルロ
• Abstract要約: 超線形成長勾配を用いたサンプリングおよび最適化問題に対して,新しいタマド勾配ハミルトンモンテカルロ(tSGHMC)アルゴリズムを提案する。 tSGHMC は,様々なタスクにおいて低根平均二乗誤差と過剰リスクを期待できることを示す。
• 参考スコア（独自算出の注目度）: 6.75602425917782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose a novel tamed stochastic gradient Hamiltonian Monte Carlo (tSGHMC) algorithm for sampling and stochastic optimization problems with superlinearly growing stochastic gradients. Under a certain continuity in average condition and a strong convexity condition, we establish a non-asymptotic error bound in Wasserstein-2 distance for tSGHMC with the rate of convergence equal to $1/4$. Then, we derive an upper estimate for the associated expected excess risk, which provides a theoretical guarantee for the performance of tSGHMC. To illustrate the effectiveness of the proposed algorithm, we apply tSGHMC to practical examples, including a newsvendor problem and a Conditional Value-at-Risk minimization problem, using synthetic and real-world datasets. Numerical results support our theoretical findings. Furthermore, we compare tSGHMC with its first-order counterpart, namely, the tamed unadjusted stochastic Langevin algorithm. Simulation results demonstrate that tSGHMC achieves lower root mean square error and expected excess risk across a range of tasks.
• Abstract（参考訳）: 本稿では,超線形に成長する確率勾配を用いたサンプリングおよび確率最適化問題に対する,新しい確率勾配ハミルトンモンテカルロ(TSGHMC)アルゴリズムを提案する。 平均条件における一定の連続性と強い凸性条件の下で、収束率が1/4$と等しいtSGHMCに対してワッサーシュタイン-2距離の非漸近誤差を確立する。 次に、tSGHMCの性能を理論的に保証する、関連する予測過剰リスクの上限推定を導出する。 提案アルゴリズムの有効性を説明するために,ニュースベンダ問題と条件付き値-アット-リスク最小化問題を含む実例に,合成および実世界のデータセットを用いてtSGHMCを適用した。 数値的な結果は我々の理論的な結果を裏付ける。 さらに、 tSGHMC を 1 階のアルゴリズム、すなわち、未調整の確率的ランゲヴィンアルゴリズムと比較する。 シミュレーションの結果、tSGHMCは、様々なタスクにおいて低いルート平均二乗誤差と予測過剰リスクを達成できることが示された。

関連論文リスト

• The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
  min-max最適化は、現代の機械学習に応用されているため、注目を集めている。 我々は、勾配降下(SGDA)の包括的理論を提供する。 我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
  論文  参考訳（メタデータ） (2026-09-05T12:49:28Z)
• Non-asymptotic convergence analysis of the stochastic gradient Hamiltonian Monte Carlo algorithm with discontinuous stochastic gradient with applications to training of ReLU neural networks [7.170021086161168]
  我々は、勾配ハミルトニアンモンテカルロのWasserstein-1 と Wasserstein-2 距離の目標測度への収束の非漸近解析を提供する。 本研究の主な成果を説明するために、定量推定に関する数値実験と、金融と人工知能に関連するReLUニューラルネットワークに関わるいくつかの問題について考察する。
  論文  参考訳（メタデータ） (2024-09-25T17:21:09Z)
• Multi-fidelity Hamiltonian Monte Carlo [1.86413150130483]
  代理モデルを用いた2段階ハミルトニアンモンテカルロアルゴリズムを提案する。 受け入れられた確率は、標準のHMC提案によって第一段階で計算される。 提案が受理された場合、後部を高忠実度数値解法を用いて第2段階で評価する。
  論文  参考訳（メタデータ） (2024-05-08T13:03:55Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• Non-asymptotic estimates for TUSLA algorithm for non-convex learning with applications to neural networks with ReLU activation function [3.5044892799305956]
  Lovas et alで導入された未調整Langevinアルゴリズム(TUSLA)の非漸近解析を行う。 特に、Wassersteinstein-1-2におけるTUSLAアルゴリズムの非漸近誤差境界を確立する。 TUSLAアルゴリズムは最適解に急速に収束することを示す。
  論文  参考訳（メタデータ） (2021-07-19T07:13:02Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)
• Stochastic Gradient Langevin Dynamics Algorithms with Adaptive Drifts [8.36840154574354]
  そこで我々は, ドリフト関数を偏り, サドル点からの脱出を促進させ, バイアスを過去のサンプルの勾配に応じて適応的に調整する, 適応的勾配勾配連鎖モンテカルロ(SGMCMC)アルゴリズムを提案する。 本稿では,提案アルゴリズムが既存のSGMCMCアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-09-20T22:03:39Z)
• ROOT-SGD: Sharp Nonasymptotics and Near-Optimal Asymptotics in a Single Algorithm [71.13558000599839]
  第一次アルゴリズムを用いて,厳密な凸と滑らかな非制約最適化問題の解法について検討する。 我々は,過去の勾配を平均化し,実装が容易な小説「Recursive One-Over-T SGD」を考案した。 有限サンプル, 漸近感覚, 感覚の両面において, 最先端の性能を同時に達成できることを実証する。
  論文  参考訳（メタデータ） (2020-08-28T14:46:56Z)
• Nonasymptotic analysis of Stochastic Gradient Hamiltonian Monte Carlo under local conditions for nonconvex optimization [0.0]
  局所条件下での勾配の目標測度に対するハミルトニアンモンテカルロの収束の漸近解析を行う。 我々は,SGHMCが反復回数で一様に高精度な結果が得られることを証明した。
  論文  参考訳（メタデータ） (2020-02-13T12:10:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。