論文の概要: Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time

• arxiv url: http://arxiv.org/abs/2505.12553v1
• Date: Sun, 18 May 2025 21:45:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.30527
• Title: Hamiltonian Descent Algorithms for Optimization: Accelerated Rates via Randomized Integration Time
• Title（参考訳）: Hamiltonian Descent Algorithms for Optimization:Accelerated Rates via Randomized Integration Time
• Authors: Qiang Fu, Andre Wibisono,
• Abstract要約: 積分時間にハミルトン力学をシミュレートするHF-opt(HF-opt)について検討する。 HF-optにおける積分時間をランダム化することにより、結果のランダム化ハミルトン流(RHF)が連続時間における加速収束率を達成することを示す。
• 参考スコア（独自算出の注目度）: 16.347507752603132
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the Hamiltonian flow for optimization (HF-opt), which simulates the Hamiltonian dynamics for some integration time and resets the velocity to $0$ to decrease the objective function; this is the optimization analogue of the Hamiltonian Monte Carlo algorithm for sampling. For short integration time, HF-opt has the same convergence rates as gradient descent for minimizing strongly and weakly convex functions. We show that by randomizing the integration time in HF-opt, the resulting randomized Hamiltonian flow (RHF) achieves accelerated convergence rates in continuous time, similar to the rates for the accelerated gradient flow. We study a discrete-time implementation of RHF as the randomized Hamiltonian gradient descent (RHGD) algorithm. We prove that RHGD achieves the same accelerated convergence rates as Nesterov's accelerated gradient descent (AGD) for minimizing smooth strongly and weakly convex functions. We provide numerical experiments to demonstrate that RHGD is competitive with classical accelerated methods such as AGD across all settings and outperforms them in certain regimes.
• Abstract（参考訳）: 最適化のためのハミルトン流 (HF-opt) について検討し、ハミルトン力学をある程度の積分時間でシミュレートし、目標関数を減少させるために速度を0$にリセットする。 短い積分時間の間、HF-オプトは強凸関数と弱凸関数を最小化するための勾配降下と同じ収束速度を持つ。 HF-optにおける積分時間をランダム化することにより、結果として生じるランダム化されたハミルトン流(RHF)は、加速された勾配流の速度と同様に、連続的に加速された収束速度を達成することを示す。 ランダム化ハミルトン勾配勾配(RHGD)アルゴリズムとしてRHFの離散時間実装について検討する。 我々はRHGDがスムーズな強凸関数と弱凸関数を最小化するためにネステロフの加速勾配降下(AGD)と同じ加速収束速度を達成することを証明した。 我々は、RHGDがAGDのような古典的な加速法と競合することを示す数値実験を行い、特定の状況下でそれらより優れていることを示す。

関連論文リスト

• Least-Squares-Embedded Optimization for Accelerated Convergence of PINNs in Acoustic Wavefield Simulations [2.8948274245812327]
  PINNは偏微分方程式の解法において有望であることを示した。 ヘルムホルツ方程式に基づく散乱音場シミュレーションでは,ハイブリッド最適化の枠組みを導出する。 このフレームワークは、最小二乗(LS)ソルバをGD損失関数に直接埋め込むことで、トレーニング収束を加速する。
  論文  参考訳（メタデータ） (2025-04-23T09:32:14Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Self-Tuning Hamiltonian Monte Carlo for Accelerated Sampling [12.163119957680802]
  ハミルトニアンモンテカルロシミュレーションは、積分の時間ステップと積分の回数に大きく依存する。 このようなパラメータを自動的に調整する適応型汎用フレームワークを提案する。 損失と自己相関時間との良好な対応が確立できることを示す。
  論文  参考訳（メタデータ） (2023-09-24T09:35:25Z)
• Convergence of mean-field Langevin dynamics: Time and space discretization, stochastic gradient, and variance reduction [49.66486092259376]
  平均場ランゲヴィンダイナミクス(英: mean-field Langevin dynamics、MFLD)は、分布依存のドリフトを含むランゲヴィン力学の非線形一般化である。 近年の研究では、MFLDは測度空間で機能するエントロピー規則化された凸関数を地球規模で最小化することが示されている。 有限粒子近似,時間分散,勾配近似による誤差を考慮し,MFLDのカオスの均一時間伝播を示す枠組みを提供する。
  論文  参考訳（メタデータ） (2023-06-12T16:28:11Z)
• Nesterov Meets Optimism: Rate-Optimal Separable Minimax Optimization [108.35402316802765]
  本稿では,新しい一階最適化アルゴリズムであるAcceleratedGradient-OptimisticGradient (AG-OG) Ascentを提案する。 我々はAG-OGが様々な設定に対して最適収束率(定数まで)を達成することを示す。 アルゴリズムを拡張して設定を拡張し、bi-SC-SCとbi-C-SCの両方で最適な収束率を達成する。
  論文  参考訳（メタデータ） (2022-10-31T17:59:29Z)
• Losing momentum in continuous-time stochastic optimisation [42.617042045455506]
  運動量に基づく最適化アルゴリズムは 特に広まりました 本研究では、運動量を伴う勾配降下の連続時間モデルを解析する。 また、画像分類問題において畳み込みニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2022-09-08T10:46:05Z)
• Improving the Transient Times for Distributed Stochastic Gradient Methods [5.215491794707911]
  拡散適応段階法(EDAS)と呼ばれる分散勾配アルゴリズムについて検討する。 EDASが集中勾配降下(SGD)と同じネットワーク独立収束率を達成することを示す。 我々の知る限り、EDASは$n$のコスト関数の平均が強い凸である場合に最も短い時間を達成する。
  論文  参考訳（メタデータ） (2021-05-11T08:09:31Z)
• Hessian-Free High-Resolution Nesterov Acceleration for Sampling [55.498092486970364]
  最適化のためのNesterovのAccelerated Gradient(NAG)は、有限のステップサイズを使用する場合の連続時間制限(ノイズなしの運動的ランゲヴィン)よりも優れたパフォーマンスを持つ。 本研究は, この現象のサンプリング法について検討し, 離散化により加速勾配に基づくMCMC法が得られる拡散過程を提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:07:37Z)
• Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets [14.945821529085896]
  本稿では,コミュニケーション効率に着目した固有関数の平均最小化のための分散最適化アルゴリズムについて検討する。 本稿では,これらの設定に特化して機能するマシンの,新しい強調型サンプリングを提案する。 この手法により, 最大リプシッツ定数から機械間におけるリプシッツ定数の強調への収束率の依存性が向上することを示す。
  論文  参考訳（メタデータ） (2020-02-20T01:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。