論文の概要: Whiplash Gradient Descent Dynamics

• arxiv url: http://arxiv.org/abs/2203.02140v4
• Date: Mon, 19 Jun 2023 12:13:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 06:26:10.964952
• Title: Whiplash Gradient Descent Dynamics
• Title（参考訳）: ウィップラッシュ勾配降下ダイナミクス
• Authors: Subhransu S. Bhattacharjee and Ian R. Petersen
• Abstract要約: 凸関数に対するWhiplash系に対するシンプレクティック収束解析を導入する。 本研究では,アルゴリズムの性能を様々なコストで検討し,収束率を解析するための実践的方法論を提供する。
• 参考スコア（独自算出の注目度）: 2.0508733018954843
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we propose the Whiplash Inertial Gradient dynamics, a closed-loop optimization method that utilises gradient information, to find the minima of a cost function in finite-dimensional settings. We introduce the symplectic asymptotic convergence analysis for the Whiplash system for convex functions. We also introduce relaxation sequences to explain the non-classical nature of the algorithm and an exploring heuristic variant of the Whiplash algorithm to escape saddle points, deterministically. We study the algorithm's performance for various costs and provide a practical methodology for analyzing convergence rates using integral constraint bounds and a novel Lyapunov rate method. Our results demonstrate polynomial and exponential rates of convergence for quadratic cost functions.
• Abstract（参考訳）: 本稿では,有限次元環境におけるコスト関数の最小値を求めるために,勾配情報を利用する閉ループ最適化手法であるwhiplash inertial gradient dynamicsを提案する。 本稿では,凸関数に対するウィップラッシュ系のシンプレクティック漸近収束解析について述べる。 また,アルゴリズムの非古典的性質を説明するために緩和シーケンスを導入し,ウィップラッシュアルゴリズムのヒューリスティックな変種を探索し,サドルポイントから決定論的に逃れる。 アルゴリズムの性能を様々なコストで検討し、積分制約境界と新しいリアプノフ率法を用いて収束率を解析するための実践的方法論を提供する。 この結果は二次コスト関数に対する多項式および指数収束率を示す。

関連論文リスト

• Dynamic Anisotropic Smoothing for Noisy Derivative-Free Optimization [0.0]
  雑音のない微分自由最適化のための球平滑化法とガウス平滑化法を拡張した新しいアルゴリズムを提案する。 アルゴリズムはスムーズなカーネルの形状を動的に適応させ、局所最適関数の Hessian を近似する。
  論文  参考訳（メタデータ） (2024-05-02T21:04:20Z)
• A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
  本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。 i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。 その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
  論文  参考訳（メタデータ） (2024-04-18T16:46:08Z)
• Adaptive Federated Learning Over the Air [108.62635460744109]
  オーバー・ザ・エア・モデル・トレーニングの枠組みの中で,適応勾配法,特にAdaGradとAdamの連合バージョンを提案する。 解析の結果,AdaGrad に基づくトレーニングアルゴリズムは $mathcalO(ln(T) / T 1 - frac1alpha の速度で定常点に収束することがわかった。
  論文  参考訳（メタデータ） (2024-03-11T09:10:37Z)
• Shuffling Momentum Gradient Algorithm for Convex Optimization [22.58278411628813]
  TheTranart Gradient Descent method (SGD)とその変種は、機械学習やデータサイエンスから有限サム最適化問題を解く方法として選択されている。 本稿では,シャッフル運動量に基づく強設定法の最初の解析を行う。
  論文  参考訳（メタデータ） (2024-03-05T18:19:02Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• A Gradient Smoothed Functional Algorithm with Truncated Cauchy Random Perturbations for Stochastic Optimization [10.820943271350442]
  本稿では,雑音の多いコストサンプルに対する期待値であるスムーズな目的関数を最小化するための凸勾配アルゴリズムを提案する。 また,本アルゴリズムは局所最小値への収束を示唆し,レートリリアを回避できることも示している。
  論文  参考訳（メタデータ） (2022-07-30T18:50:36Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• A Closed Loop Gradient Descent Algorithm applied to Rosenbrock's function [0.0]
  本稿では,非拘束慣性減衰の勾配降下アルゴリズムとして応用できる勾配系の新しい適応手法を提案する。 また、リアプノフ安定性解析を用いて、連続数値時間バージョンの性能を実証する。
  論文  参考訳（メタデータ） (2021-08-29T17:25:24Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Quantized Variational Inference [6.09170287691728]
  ELBO最適化のために、量子変分推論が分散自由勾配をいかに生み出すかを示す。 量子化変分推論フレームワークを用いることで、スコア関数と再パラメータ化勾配の両方に高速収束がもたらされることを示す。
  論文  参考訳（メタデータ） (2020-11-04T13:22:50Z)
• Conditional gradient methods for stochastically constrained convex minimization [54.53786593679331]
  構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。 私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。 提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
  論文  参考訳（メタデータ） (2020-07-07T21:26:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。