論文の概要: Global $\mathcal{O}\left(k^{-2}\right)$ Convergence of Multilevel Gradient-Regularized Newton Methods
- arxiv url: http://arxiv.org/abs/2610.35195v1
- Date: Mon, 26 Oct 2026 10:47:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.833049
- Title: Global $\mathcal{O}\left(k^{-2}\right)$ Convergence of Multilevel Gradient-Regularized Newton Methods
- Title（参考訳）: Global $\mathcal{O}\left(k^{-2}\right)$ Multilevel Gradient-Regularized Newton Methods
- Abstract要約: リプシッツ連続ヘシアンを用いた非拘束凸最適化のための勾配規則化ニュートン法の解析を行った。
低次元部分空間におけるニュートン補正の計算により,提案手法は計算コストを削減することを目的としている。
行ネスト作用素を用いた数値実験は、全空間勾配正規化ニュートンに匹敵する収束挙動を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We develop and analyze multilevel gradient-regularized Newton methods for unconstrained convex optimization with Lipschitz-continuous Hessians. By computing Newton corrections in lower-dimensional subspaces, the proposed methods aim to reduce computational costs while preserving the global $\mathcal{O}\left(k^{-2}\right)$ convergence rate in function values of the full-space method. To establish this rate for multilevel methods, we introduce a class of row-nested restriction operators that ensures monotonicity of the reduced-gradient norms across levels. Numerical experiments with row-nested operators demonstrate convergence behavior comparable to full-space gradient-regularized Newton, while offering substantial computational savings on large-scale instances.
- Abstract（参考訳）: 我々は,Lipschitz-Continuous Hessian を用いた非拘束凸最適化のための多レベル勾配正規化ニュートン法の開発と解析を行った。
低次元部分空間におけるニュートン補正の計算により、提案手法は、大域的な$\mathcal{O}\left(k^{-2}\right)$収束率を全空間法の関数値に保ちながら計算コストを削減することを目的としている。
マルチレベル手法のこのレートを確立するために,各レベルにまたがる低次ノルムの単調性を保証する行数制限演算子のクラスを導入する。
行ネスト演算子を用いた数値実験は、大規模インスタンスに対してかなりの計算的節約を提供しながら、フルスペース勾配規則化ニュートンに匹敵する収束挙動を示す。
関連論文リスト
- Smoothed Gradient Method for Nonconvex Federated Stochastic Bilevel Optimization [23.320303073492198]
第二次ヘッセン行列とヤコビ行列に付随する計算オーバーヘッドを低減するために、一階法が提案されている。
既存の手法は一般に制限的な仮定を課し、上層および下層問題にまたがる変数に関連する条件数に悩まされる。
本稿では,上位変数と下位変数の学習率を2倍に分離する,非連邦二段階問題の2つのスムーズな解法を提案する。
論文 参考訳（メタデータ） (2026-10-04T15:09:14Z) - A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees [34.85903827323451]
我々は、正規化ニュートン方程式を解くために、現在の勾配と以前の勾配から構築された新しい正規化器のクラスを提案する。
提案アルゴリズムは適応的であり、ヘッセン・リプシッツ定数の事前知識を必要としない。
論文 参考訳（メタデータ） (2025-02-07T10:10:10Z) - Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization [11.56128809794923]
本稿では,可微分損失関数と非滑らか正規化関数の和を最小化する新しいハイブリッドアルゴリズムを提案する。
臨界点へのグローバル収束を証明し、適切な条件下では、アルゴリズムが既存の手法より優れていることを示す。
論文 参考訳（メタデータ） (2024-07-24T12:15:59Z) - Incremental Quasi-Newton Methods with Faster Superlinear Convergence
Rates [50.36933471975506]
各成分関数が強く凸であり、リプシッツ連続勾配とヘシアンを持つ有限和最適化問題を考える。
最近提案されたインクリメンタル準ニュートン法は、BFGSの更新に基づいて、局所的な超線形収束率を達成する。
本稿では、対称ランク1更新をインクリメンタルフレームワークに組み込むことにより、より効率的な準ニュートン法を提案する。
論文 参考訳（メタデータ） (2024-02-04T05:54:51Z) - Krylov Cubic Regularized Newton: A Subspace Second-Order Method with
Dimension-Free Convergence Rate [83.3933097134767]
次元に依存しない大域収束率を$Oleft(frac1mk+frac1k2right)$とする,新しい部分空間正規化ニュートン法を導入する。
提案手法は,特に高次元問題に対して,既存のランダム部分空間法よりも高速に収束する。
論文 参考訳（メタデータ） (2024-01-05T20:24:18Z) - Explicit Second-Order Min-Max Optimization: Practical Algorithms and Complexity Analysis [71.05708939639537]
本研究では,非制約問題に対するグローバルなサドル点を求めるために,不正確なNewton型手法をいくつか提案し,解析する。
提案手法は,Sur分解の必要回数の$O(log(1/eps)$因子をシェービングすることで,既存のライン検索に基づくmin-max最適化を改善する。
論文 参考訳（メタデータ） (2022-10-23T21:24:37Z) - Newton-LESS: Sparsification without Trade-offs for the Sketched Newton
Update [88.73437209862891]
2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。
本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。
ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
論文 参考訳（メタデータ） (2021-07-15T17:33:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。