論文の概要: Affine-invariant Cubic Newton with Weak Learners

• arxiv url: http://arxiv.org/abs/2610.33516v1
• Date: Sat, 24 Oct 2026 07:48:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.350769
• Title: Affine-invariant Cubic Newton with Weak Learners
• Title（参考訳）: 弱学習者によるアフィン不変立方体ニュートン
• Abstract要約: 勾配促進アルゴリズムはニュートン法に基づいており、これは経験的に優れているが、大域収束保証を欠いている。 弱いAICN更新は、$_k$で決定された明示的なステップサイズで減衰した弱いニュートンステップに還元されることを示す。 また,局所的線形速度,ヘッセン支配損失に対する大域的線形収束,コサイン角下界,弱AdaAICNも証明した。
• 参考スコア（独自算出の注目度）: 5.627791592656776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern gradient boosting algorithms are based on Newton's method, which excels empirically but lacks global convergence guarantees. While recent work on Gradient-Regularized Newton (GRN) boosting achieved a global $\mathcal{O}(1/γ^{12}k^2)$ rate, its analysis was not able to exploit the natural Hessian geometry and suffers from a heavy $γ^{12}$ dependence on a worst-case `weak gradient edge' $γ$. In this paper, we tackle these theoretical drawbacks by generalizing the Affine-Invariant Cubic Newton (AICN) scheme to convex optimization with weak learners. Our analysis is based on average cosine values $\overlineΘ_k$ along the optimization path and directional improvements $δ_k$ in the Hessian-induced norm. We show that the weak-AICN update reduces to a damped weak-Newton step with an explicit stepsize determined by $δ_k$. Under semi-strong self-concordance, we establish a global $\mathcal{O}(1/\overlineΘ_k^4 k^2)$ rate, significantly improving upon the weak-GRN bound. We further prove a local linear rate, global linear convergence for Hessian-dominated losses, cosine angle lower bounds, and present weak-AdaAICN, which adaptively tunes the cubic regularization. Finally, we demonstrate the broader applicability of this framework beyond gradient boosting by showing that Newton coordinate descent emerges naturally as a special case of optimization with weak learners.
• Abstract（参考訳）: 現代の勾配促進アルゴリズムはニュートン法に基づいており、これは経験的に優れているが、大域収束保証が欠如している。 グラディエント正規化ニュートン (GRN) ブースティングに関する最近の研究は、大域的な$\mathcal{O}(1/γ^{12}k^2)$レートを達成したが、その分析は自然ヘッセン幾何学を活用できず、最悪の '弱勾配エッジ' $γ$への依存に悩まされた。 本稿では,Affine-Invariant Cubic Newton (AICN) スキームを一般化し,弱い学習者との対流最適化を実現することにより,これらの理論的欠点に対処する。 我々の分析は、最適化パスに沿った平均コサイン値$\overline>_k$と、Hessian誘導ノルムにおける方向改善$δ_k$に基づいている。 弱いAICN更新は、$δ_k$で決定された明示的なステップサイズで減衰した弱いニュートンステップに還元されることを示す。 半強自己調和の下では、大域的な$\mathcal{O}(1/\overline>_k^4 k^2)$レートを確立し、弱いGRN境界において著しく改善する。 さらに、局所的線形率、ヘッセン支配損失に対する大域的線形収束、コサイン角下界、および3次正規化を適応的に調整する弱AdaAICNを証明した。 最後に、このフレームワークの適用性について、ニュートン座標降下が弱い学習者による最適化の特別な場合として自然に現れることを示すことによって、勾配向上以上の適用性を示す。

関連論文リスト

• Global $\mathcal{O}\left(k^{-2}\right)$ Convergence of Multilevel Gradient-Regularized Newton Methods [0.0]
  リプシッツ連続ヘシアンを用いた非拘束凸最適化のための勾配規則化ニュートン法の解析を行った。 低次元部分空間におけるニュートン補正の計算により,提案手法は計算コストを削減することを目的としている。 行ネスト作用素を用いた数値実験は、全空間勾配正規化ニュートンに匹敵する収束挙動を示す。
  論文  参考訳（メタデータ） (2026-10-26T10:47:39Z)
• Gradient Regularized Newton Boosting Trees with Global Convergence [5.627791592656776]
  ニュートンのヒルベルト空間上での凸最適化を非コンパクトイテレートで研究するNewton Descentを紹介した。 この枠組みでは、GBDTと古典的有限次元理論を特別な場合としてニュートンブースティングを回復する。 我々は,バニラニュートンブースティングが分岐するにつれて,我々の計画が収束することを示した。
  論文  参考訳（メタデータ） (2026-05-01T11:37:17Z)
• A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees [34.85903827323451]
  我々は、正規化ニュートン方程式を解くために、現在の勾配と以前の勾配から構築された新しい正規化器のクラスを提案する。 提案アルゴリズムは適応的であり、ヘッセン・リプシッツ定数の事前知識を必要としない。
  論文  参考訳（メタデータ） (2025-02-07T10:10:10Z)
• Convergence Rate Analysis of LION [54.28350823319057]
  LION は、勾配カルシュ=クーン=T (sqrtdK-)$で測定された $cal(sqrtdK-)$ の反復を収束する。 従来のSGDと比較して,LIONは損失が小さく,性能も高いことを示す。
  論文  参考訳（メタデータ） (2024-11-12T11:30:53Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• A Newton-CG based barrier-augmented Lagrangian method for general nonconvex conic optimization [53.044526424637866]
  本稿では、2つの異なる対象の一般円錐最適化を最小化する近似二階定常点(SOSP)について検討する。 特に、近似SOSPを見つけるためのNewton-CGベースの拡張共役法を提案する。
  論文  参考訳（メタデータ） (2023-01-10T20:43:29Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。