論文の概要: Gradient Regularized Newton Boosting Trees with Global Convergence

• arxiv url: http://arxiv.org/abs/2605.00581v1
• Date: Fri, 01 May 2026 11:37:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.935344
• Title: Gradient Regularized Newton Boosting Trees with Global Convergence
• Title（参考訳）: グローバル収束を有する勾配正規化ニュートンブースティングツリー
• Authors: Nikita Zozoulenko, Daniel Falkowski, Thomas Cass, Lukas Gonon,
• Abstract要約: ニュートンのヒルベルト空間上での凸最適化を非コンパクトイテレートで研究するNewton Descentを紹介した。 この枠組みでは、GBDTと古典的有限次元理論を特別な場合としてニュートンブースティングを回復する。 我々は,バニラニュートンブースティングが分岐するにつれて,我々の計画が収束することを示した。
• 参考スコア（独自算出の注目度）: 5.627791592656776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient Boosting Decision Trees (GBDTs) dominate tabular machine learning, with modern implementations like XGBoost, LightGBM, and CatBoost being based on Newton boosting: a second-order descent step in the space of decision trees. Despite its empirical success, the global convergence of Newton boosting is poorly understood compared to first-order boosting. In this paper, we introduce Restricted Newton Descent, which studies convex optimization with Newton's method on Hilbert spaces with inexact iterates, based on the concepts of cosine angle and weak gradient edge. Within this framework, we recover Newton boosting with GBDTs and classical finite-dimensional theory as special cases. We first prove that vanilla Newton boosting achieves a linear rate of convergence for smooth, strongly convex losses that satisfy a Hessian-dominance condition. To handle general convex losses with Lipschitz Hessians, we extend a recent gradient regularized Newton scheme to the restricted weak learner setting. This scheme minimally modifies the classical algorithm by introducing an adaptive $\ell_2$-regularization term proportional to the square root of the gradient norm at each iteration. We establish a $\mathcal{O}(\frac{1}{k^2})$ rate for this scheme, thereby obtaining a globally convergent second-order GBDT algorithm with a rate matching that of first-order boosting with Nesterov momentum. In numerical experiments, we show that our scheme converges while vanilla Newton boosting may diverge.
• Abstract（参考訳）: XGBoost、LightGBM、CatBoostといったモダンな実装がNewton boostingをベースにしている。 実証的な成功にもかかわらず、ニュートンブーイングの世界的な収束は、ファーストオーダーブーイングに比べて理解が不十分である。 本稿では、コサイン角と弱勾配エッジの概念に基づいて、非コンパクトなイテレートを持つヒルベルト空間上のニュートン法を用いて凸最適化を研究するRestricted Newton Descentを紹介する。 この枠組みでは、GBDTと古典的有限次元理論を特別な場合としてニュートンブースティングを回復する。 我々はまず,バニラニュートンブースティングがヘッセン支配条件を満たす滑らかで強凸な損失に対して線形収束率を達成することを証明した。 リプシッツ・ヘッセンの一般凸損失に対処するため、最近の勾配正規化ニュートンスキームを制限された弱学習者設定に拡張する。 このスキームは、各反復における勾配ノルムの平方根に比例する適応$\ell_2$-regularization項を導入することにより、古典的アルゴリズムを最小限に修正する。 我々はこのスキームに対して$\mathcal{O}(\frac{1}{k^2})$レートを確立し、ネステロフ運動量と一階昇降率を一致させた大域収束二階GBDTアルゴリズムを得る。 数値実験では,バニラニュートンブースティングが分岐する一方で,我々のスキームが収束することを示した。

関連論文リスト

• A Regularized Newton Method for Nonconvex Optimization with Global and Local Complexity Guarantees [34.85903827323451]
  我々は、正規化ニュートン方程式を解くために、現在の勾配と以前の勾配から構築された新しい正規化器のクラスを提案する。 提案アルゴリズムは適応的であり、ヘッセン・リプシッツ定数の事前知識を必要としない。
  論文  参考訳（メタデータ） (2025-02-07T10:10:10Z)
• How to Boost Any Loss Function [63.573324901948716]
  損失関数はブースティングにより最適化可能であることを示す。 また、古典的な$0の注文設定でまだ不可能な成果を達成できることも示しています。
  論文  参考訳（メタデータ） (2024-07-02T14:08:23Z)
• Newton-CG methods for nonconvex unconstrained optimization with Hölder continuous Hessian [53.044526424637866]
  我々は、H"古いヘッセンによる2つの微分可能な目的関数を最小化する非制約非制約最適化問題を考える。 まずニュートン共役法(Newton-conjugate, Newton-CG)を提案する。 本稿では,パラメータフリーなNewtonCG法において,優れた実用性能を示すための予備的な数値計算結果を提案する。
  論文  参考訳（メタデータ） (2023-11-22T01:50:43Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Newton-LESS: Sparsification without Trade-offs for the Sketched Newton Update [88.73437209862891]
  2階最適化において、潜在的なボトルネックは繰り返しごとに最適化関数のヘシアン行列を計算することである。 本稿では,ガウススケッチ行列を劇的に分散させることにより,スケッチの計算コストを大幅に削減できることを示す。 ニュートン=ルネッサはガウス埋め込みとほぼ同じ問題に依存しない局所収束率を享受していることを証明した。
  論文  参考訳（メタデータ） (2021-07-15T17:33:05Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• SnapBoost: A Heterogeneous Boosting Machine [9.532706363790053]
  本研究では,HNBM(Heterogeneous Newton Boosting Machine)について検討した。 トレーニングの複雑さに重点を置いたSnapBoostの実装方法について説明する。 OpenMLとKaggleのデータセットを用いた実験結果から、SnapBoostは、競合するブースティングフレームワークよりも、より優れた一般化損失を達成可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-17T09:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。