論文の概要: Distribution of hitting times for dissipative random dynamical systems on $\mathbb{R}^d$, with application to stochastic gradient descent

• arxiv url: http://arxiv.org/abs/2609.30274v1
• Date: Tue, 11 Aug 2026 11:59:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.115054
• Title: Distribution of hitting times for dissipative random dynamical systems on $\mathbb{R}^d$, with application to stochastic gradient descent
• Title（参考訳）: $\mathbb{R}^d$上の散逸的ランダム力学系の打時間分布と確率勾配降下への応用
• Abstract要約: ディープラーニングで使われている現在の手法に関する大きなオープンな疑問は、それらの収束を理解することである。 我々は、エルゴード理論の観点から、幅広い手法群を最適化するための新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 0.30079490585515334
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning and more specifically Deep Learning involves solving large scale nonconvex optimization problems. Several algorithms have been proposed in the literature, that seem to achieve satisfactory practical efficiency for difficult instances, the Stochastic Gradient Method being the most rudimentary, while still outperforming more recent algorithms at a number of learning tasks. A major open question about the current methods used in deep learning is to understand their convergence properties. Following a line of previous works about the long time behavior of gradient-type algorithms, %and in particular the recent contributions from Azizian et al., we present a new approach for studying the asymptotic properties of a wide family of methods from an ergodic theoretical viewpoint. Our main results include a study of the expected time for a stochastic optimisation algorithm to reach a certain small neighborhood of a minimizer and show that this reaching time distributes exponentially around its average, which is given by the inverse of the stationary measure of the target. The assumptions on the Stochastic Gradient noise include the Gaussian and the Sub-Exponential assumptions.
• Abstract（参考訳）: 機械学習とより具体的には、Deep Learningは大規模な非凸最適化問題を解決する。 確率勾配法は最も初歩的でありながら、近年の多くの学習課題においてアルゴリズムよりも優れており、難易度の高い実効性を達成するようないくつかのアルゴリズムが文献で提案されている。 ディープラーニングで使われている現在の手法に関する大きなオープンな疑問は、それらの収束特性を理解することである。 勾配型アルゴリズムの長期的挙動, %および最近のAzizianらによる貢献に続き, エルゴード理論の観点から, 幅広い手法の漸近特性を研究するための新しいアプローチを提案する。 本研究の主な成果は,確率最適化アルゴリズムが最小値の小さな近傍に到達するまでの所望時間について検討し,この到達時間が目標の定常測度の逆で与えられる平均値に対して指数関数的に分布することを示すことである。 確率勾配雑音の仮定には、ガウス的仮定と部分指数的仮定が含まれる。

関連論文リスト

• Federated stochastic bilevel optimization with fully first-order gradients [57.1147486991903]
  フェデレーション行列の2レベル最適化は、機械学習に広く応用されているため、近年積極的に研究されている。 既存のフェデレートされた双レベル最適化アルゴリズムは、二階ヘッセン行列とヤコビ行列の計算を必要とする。 本稿では,一階オーラクルのみに依存する新しいフェデレーション収束分散誘導二段降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-09-14T21:12:59Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• The Stochastic Proximal Distance Algorithm [5.3315823983402755]
  本稿では,所望の制約付き推定問題をペナルティパラメータとして回復する反復最適化手法のクラスを提案し,解析する。 我々は、最近の理論装置を拡張して有限誤差境界を確立し、収束率の完全な評価を行う。 また,本手法が一般的な学習課題のバッチバージョンより優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-21T22:07:28Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Stochastic Optimization under Distributional Drift [3.0229888038442922]
  予測と高い確率の両方で有効な境界に焦点をあて、平均化を繰り返すアルゴリズムに対して非漸近収束保証を提供する。 勾配法の追従効率がステップ崩壊スケジュールから大きく向上する低ドリフト・ツー・ノイズ方式を同定する。
  論文  参考訳（メタデータ） (2021-08-16T21:57:39Z)
• Differentiable Annealed Importance Sampling and the Perils of Gradient Noise [68.44523807580438]
  Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。 差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。 我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
  論文  参考訳（メタデータ） (2021-07-21T17:10:14Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Asymptotic study of stochastic adaptive algorithm in non-convex landscape [2.1320960069210484]
  本稿では、最適化や機械学習に広く用いられる適応アルゴリズムの仮定特性について検討する。 このうちAdagradとRmspropは、ブラックボックスのディープラーニングアルゴリズムの大部分に関与している。
  論文  参考訳（メタデータ） (2020-12-10T12:54:45Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。