論文の概要: Global Convergence of Third-Order Langevin Dynamics for Non-Convex Optimization via Simulated Annealing

• arxiv url: http://arxiv.org/abs/2609.28611v1
• Date: Wed, 23 Sep 2026 17:20:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.451479
• Title: Global Convergence of Third-Order Langevin Dynamics for Non-Convex Optimization via Simulated Annealing
• Title（参考訳）: 擬似アニーリングによる非凸最適化のための3次ランゲヴィンダイナミクスの大域的収束
• Abstract要約: 非次最適化のための3次ランゲヴィンダイナミクスについて検討する。 ニューラルネットワークの目的のために、三階ランゲヴィンスキームはUBUと三階ランゲヴィンスキームを共通の水平線と等予算の両方で上回る。
• 参考スコア（独自算出の注目度）: 4.43703611459084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study global convergence guarantees of third-order Langevin dynamics for non-convex optimization via simulated annealing with fixed friction and decreasing noise. An explicit three-block distorted entropy transfers dissipation from the noisy auxiliary variable to the full state. Under dissipativity, regularity, and low-temperature functional-inequality assumptions, logarithmic cooling drives the objective values to the global minimum in probability at the barrier-controlled kinetic rate. For the exact-force-integral and midpoint three-stage discretizations, polynomially decreasing steps preserve this rate on the physical time scale. The cubic local endpoint estimate gives a less restrictive sufficient step-size condition than the available frozen-force kinetic result. A comparison with the one-gradient UBU integrator shows how its centered stochastic local error leads, under the same strong-coupling analysis, to a smaller sufficient iteration exponent. Numerical experiments are conducted to illustrate our theory. For a double well objective, third-order Langevin terminal-success point estimates are higher than UBU at both a common horizon and an equal gradient budget. For a high-dimensional nonconvex neural-network objective using synthetic data, independently tuned UBU and third-order Langevin schemes both outperform overdamped Langevin dynamics; the third-order Langevin point estimate is higher. For the same neural-network objective on real data, we show the same point-estimate ordering for best-basin probability and post-quench test accuracy. Numerical code and associated experiment results are publicly available at https://github.com/gagawjbytw/simulated-annealing-third-order-langevin.
• Abstract（参考訳）: 非凸最適化のための3階ランゲヴィン力学のグローバル収束保証について, 固定摩擦による模擬アニーリングと雑音低減による検討を行った。 明示的な3ブロック歪んだエントロピーはノイズ補助変数から完全状態への散逸を伝達する。 解離性、正則性、低温機能不等式仮定の下では、対数冷却は目標値をバリア制御運動速度の確率で世界最小に駆動する。 正確な力の積分と中点の3段階の離散化では、多項式的に減少するステップがこの速度を物理時間スケールで保存する。 立方体局所終端推定は、利用可能な凍結力運動結果よりも、十分なステップサイズ条件が制限されない。 1段階のUBU積分器との比較は、その中心となる確率的局所誤差が、同じ強い結合解析の下で、より小さいイテレーション指数にどのように導かれるかを示す。 我々の理論を説明するために数値実験を行った。 二重目的のために、三階ランゲヴィン終点推定は共通の地平線と等勾配の予算の両方においてUBUよりも高い。 合成データを用いた高次元非凸ニューラルネットワークの目的に対して、独立にチューンされたUBUと3階のランゲヴィンスキームは、過度に損傷したランゲヴィン力学より優れており、3階のランゲヴィン点推定値が高い。 実データ上でのニューラル・ネットワークの目的について、ベストベース確率とポストクエンチテストの精度について、同じ点推定順序を示す。 数値コードと関連する実験結果はhttps://github.com/gagawjbytw/simulated-annealing- third-order-langevinで公開されている。

関連論文リスト

• The Picard-Lagrange Framework for Higher-Order Langevin Monte Carlo [15.440889897519483]
  一般の$K$th-order Langevinダイナミックスに基づく新しいサンプリングアルゴリズムを導入し,2次法および3次法を超えて拡張する。 滑らかで強い対数凹凸密度を持つ対象に対して、ワッサーシュタイン距離における次元依存収束を証明する。 これはそのようなクエリの複雑さを達成する最初のサンプリングアルゴリズムである。
  論文  参考訳（メタデータ） (2025-10-21T03:04:58Z)
• Non-Reversible Langevin Algorithms for Constrained Sampling [13.472207533177151]
  本研究では,制約領域上の対象分布から標本化することを目的とする制約サンプリング問題を考察する。 SRNLD(skew-reflected non-reversible Langevin dynamics)を提案する。 我々は,SRNLDの非漸近収束速度を,全変量と1-ワッサーシュタイン距離の両方の目標分布に求める。
  論文  参考訳（メタデータ） (2025-01-20T21:04:29Z)
• Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
  近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。 本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
  論文  参考訳（メタデータ） (2024-04-29T15:04:07Z)
• Symmetric Mean-field Langevin Dynamics for Distributional Minimax Problems [78.96969465641024]
  平均場ランゲヴィンのダイナミクスを、対称で証明可能な収束した更新で、初めて確率分布に対する最小の最適化に拡張する。 また,時間と粒子の離散化機構について検討し,カオス結果の新たな均一時間伝播を証明した。
  論文  参考訳（メタデータ） (2023-12-02T13:01:29Z)
• Over-Parameterization Exponentially Slows Down Gradient Descent for Learning a Single Neuron [49.45105570960104]
  ランダム勾配降下のグローバル収束を$Oleft(T-3right)$ rateで証明する。 これら2つの境界は、収束率の正確な特徴づけを与える。 このポテンシャル関数は緩やかに収束し、損失関数の緩やかな収束率を示す。
  論文  参考訳（メタデータ） (2023-02-20T15:33:26Z)
• Improved Convergence Rate of Stochastic Gradient Langevin Dynamics with Variance Reduction and its Application to Optimization [50.83356836818667]
  勾配ランゲヴィン・ダイナミクスは非エプス最適化問題を解くための最も基本的なアルゴリズムの1つである。 本稿では、このタイプの2つの変種、すなわち、分散還元ランジュバンダイナミクスと再帰勾配ランジュバンダイナミクスを示す。
  論文  参考訳（メタデータ） (2022-03-30T11:39:00Z)
• Faster Convergence of Stochastic Gradient Langevin Dynamics for Non-Log-Concave Sampling [110.88857917726276]
  我々は,非log-concaveとなる分布のクラスからサンプリングするために,勾配ランゲヴィンダイナミクス(SGLD)の新たな収束解析を行う。 我々のアプローチの核心は、補助的時間反転型マルコフ連鎖を用いたSGLDのコンダクタンス解析である。
  論文  参考訳（メタデータ） (2020-10-19T15:23:18Z)
• Non-Convex Optimization via Non-Reversible Stochastic Gradient Langevin Dynamics [27.097121544378528]
  グラディエント・ランゲヴィン・ダイナミクス (Gradient Langevin Dynamics, SGLD) は、非目的勾配を最適化する強力なアルゴリズムである。 NSGLDは非可逆拡散の離散化に基づいている。
  論文  参考訳（メタデータ） (2020-04-06T17:11:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。