論文の概要: Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian

• arxiv url: http://arxiv.org/abs/2311.13094v3
• Date: Mon, 14 Apr 2025 14:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 19:48:45.310118
• Title: Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian
• Title（参考訳）: Hölder 連続 Hessian を用いた非凸非拘束最適化のためのNewton-CG法
• Authors: Chuan He, Heng Huang, Zhaosong Lu,
• Abstract要約: 我々は、H"古いヘッセンによる2つの微分可能な目的関数を最小化する非制約非制約最適化問題を考える。 まずニュートン共役法(Newton-conjugate, Newton-CG)を提案する。 本稿では,パラメータフリーなNewtonCG法において,優れた実用性能を示すための予備的な数値計算結果を提案する。
• 参考スコア（独自算出の注目度）: 53.044526424637866
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we consider a nonconvex unconstrained optimization problem minimizing a twice differentiable objective function with H\"older continuous Hessian. Specifically, we first propose a Newton-conjugate gradient (Newton-CG) method for finding an approximate first- and second-order stationary point of this problem, assuming the associated the H\"older parameters are explicitly known. Then we develop a parameter-free Newton-CG method without requiring any prior knowledge of these parameters. To the best of our knowledge, this method is the first parameter-free second-order method achieving the best-known iteration and operation complexity for finding an approximate first- and second-order stationary point of this problem. Finally, we present preliminary numerical results to demonstrate the superior practical performance of our parameter-free Newton-CG method over a well-known regularized Newton method.
• Abstract（参考訳）: 本稿では、H\\\older continuous Hessian を用いた2つの微分可能な目的関数を最小化する非凸非制約最適化問題を考察する。 具体的には,H\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ \\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\\ そこで,これらのパラメータの事前知識を必要とせず,パラメータフリーなNewton-CG法を開発した。 我々の知る限り、本手法は、この問題の1階と2階の定常点を近似的に求めるために、最もよく知られたイテレーションと操作の複雑さを実現する最初のパラメータフリー2階法である。 最後に,パラメータフリーなNewton-CG法において,よく知られた正規化Newton法よりも優れた実用性能を示すための予備的な数値結果を示す。

関連論文リスト

• Symmetric Rank-One Quasi-Newton Methods for Deep Learning Using Cubic Regularization [0.5120567378386615]
  アダムやアダグラッドのような一階降下や他の一階変種は、ディープラーニングの分野で一般的に使われている。 しかし、これらの手法は曲率情報を活用しない。 準ニュートン法は、以前計算された低ヘッセン近似を再利用する。
  論文  参考訳（メタデータ） (2025-02-17T20:20:11Z)
• Symplectic Stiefel manifold: tractable metrics, second-order geometry and Newton's methods [1.190653833745802]
  我々は、シンプレクティック・スティーフェル多様体上の明示的な二階幾何学とニュートンの方法を開発する。 次にニュートン方程式をニュートン法の中心的なステップとして解く。 提案手法を検証するために, 種々の数値実験を行った。
  論文  参考訳（メタデータ） (2024-06-20T13:26:06Z)
• A Stochastic Quasi-Newton Method for Non-convex Optimization with Non-uniform Smoothness [4.097563258332958]
  滑らか性に不均一性が存在する場合の高速準ニュートン法を提案する。 我々のアルゴリズムは、最もよく知られた$mathcalO(epsilon-3)$サンプルの複雑さを達成でき、収束のスピードアップを楽しむことができる。 我々の数値実験により,提案アルゴリズムは最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-22T14:40:29Z)
• Incremental Quasi-Newton Methods with Faster Superlinear Convergence Rates [50.36933471975506]
  各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。 最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。 本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
  論文  参考訳（メタデータ） (2024-02-04T05:54:51Z)
• A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization [53.044526424637866]
  本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。 特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
  論文  参考訳（メタデータ） (2023-01-10T20:43:29Z)
• Min-Max Optimization Made Simple: Approximating the Proximal Point Method via Contraction Maps [77.8999425439444]
  本稿では,凸/凹凸 min-max 問題に対して,ほぼ最適収束率を許容する一階法を提案する。 我々の研究は、近点法の更新規則を精度良く近似できるという事実に基づいている。
  論文  参考訳（メタデータ） (2023-01-10T12:18:47Z)
• A Newton-CG based barrier method for finding a second-order stationary point of nonconvex conic optimization with complexity guarantees [0.5922488908114022]
  2つの微分可能な関数の交叉を最小限に抑える2階定常点(SOSP)の発見を検討する。 我々の方法は反復であるだけでなく、最もよく知られた複雑性にマッチする$mincal O(epsilon/2)を達成する。
  論文  参考訳（メタデータ） (2022-07-12T17:21:45Z)
• STORM+: Fully Adaptive SGD with Momentum for Nonconvex Optimization [74.1615979057429]
  本研究では,スムーズな損失関数に対する期待値である非バッチ最適化問題について検討する。 我々の研究は、学習率と運動量パラメータを適応的に設定する新しいアプローチとともに、STORMアルゴリズムの上に構築されている。
  論文  参考訳（メタデータ） (2021-11-01T15:43:36Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Distributed Second Order Methods with Fast Rates and Compressed Communication [6.069611493148631]
  分散最適化のための通信効率の高い第2次手法を複数開発する。 我々は大域的な部分線型および線形収束率と高速超線形速度を証明した。 結果は実データセットでの実験結果と共にサポートされます。
  論文  参考訳（メタデータ） (2021-02-14T14:06:45Z)
• Acceleration Methods [57.202881673406324]
  まず2次最適化問題を用いて加速法を2つ導入する。 我々は、ネステロフの精巧な研究から始まる運動量法を詳細に論じる。 我々は、ほぼ最適な収束率に達するための一連の簡単な手法である再起動スキームを議論することで結論付ける。
  論文  参考訳（メタデータ） (2021-01-23T17:58:25Z)
• A Unified Analysis of First-Order Methods for Smooth Games via Integral Quadratic Constraints [10.578409461429626]
  本研究では、滑らかで強可変なゲームやイテレーションのための一階法に積分二次的制約理論を適用する。 我々は、負の運動量法(NM)に対して、既知の下界と一致する複雑性$mathcalO(kappa1.5)$で、初めて大域収束率を与える。 一段階のメモリを持つアルゴリズムでは,バッチ毎に1回だけ勾配を問合せすれば,高速化は不可能であることを示す。
  論文  参考訳（メタデータ） (2020-09-23T20:02:00Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Gradient-Free Methods for Saddle-Point Problem [125.99533416395765]
  我々はGasnikov et al., 2017のアプローチを一般化し、不正確な勾配のないオラクルで(確率的な)凸最適化問題を解けるようにした。 我々のアプローチは、$fracnlog n$ の要求するオラクル呼び出しの回数を削減します。 論文の後半では、そのような仮定ができない場合を分析し、この問題を解決する方法の近代化方法に関する一般的なアプローチを提案する。
  論文  参考訳（メタデータ） (2020-05-12T16:44:27Z)
• On Newton Screening [14.040371216692645]
  我々はNewton Screening (NS) と呼ばれる新しいスクリーニング手法を開発した。 NSは、一段階局所収束を達成するという意味で、最適収束特性を有することを示す。
  論文  参考訳（メタデータ） (2020-01-27T11:25:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。