論文の概要: Hinge Regression Trees and HRT-Boost: Newton-Optimized Oblique Learning for Compact Tabular Models

• arxiv url: http://arxiv.org/abs/2605.23422v1
• Date: Fri, 22 May 2026 09:33:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.290192
• Title: Hinge Regression Trees and HRT-Boost: Newton-Optimized Oblique Learning for Compact Tabular Models
• Title（参考訳）: ヒンジ回帰木とHRT-Boost:コンパクトタブラリモデルに対するニュートン最適化斜め学習
• Authors: Hongyi Li, Jun Xu, Hong Yan,
• Abstract要約: 本稿では,各斜め分割を非線形最小二乗問題として再編成するHynge Tree (HRT) フレームワークを提案する。 我々はHRT-Boostを提案する。HRT-Boostは数学的にシナジスティックなアンサンブル拡張で、ノードレベルニュートンを段階的に関数勾配で更新する。
• 参考スコア（独自算出の注目度）: 18.386166970880478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning high-quality oblique decision trees remains a significant challenge due to the discrete and non-convex nature of split optimization. We present the Hinge Regression Tree (HRT) framework, which reframes each oblique split as a nonlinear least-squares problem over two linear predictors whose max/min envelope induces ReLU-like representation capacity. We show that the resulting node-level optimization can be interpreted as a damped Newton method, and we establish the monotonic decrease of the node objective for its backtracking line-search variant. We establish, theoretically, that HRT is a universal approximator with an explicit $O(δ^2)$ approximation rate. Building upon this base learner, we propose HRT-Boost, a mathematically synergistic ensemble extension that couples node-level Newton updates with stage-wise functional gradient descent. We show that this ensemble construction admits a stage-wise empirical risk reduction guarantee under the squared loss. Empirical evaluations on synthetic and real-world benchmarks show that HRT is highly competitive with established single-tree baselines, and HRT-Boost compares favorably with strong ensemble baselines and often yields substantially more compact models. The code is publicly available at https://github.com/Hongyi-Li-sz/HRT-Boost.
• Abstract（参考訳）: 分割最適化の離散性と非凸性のため、高品質な斜め決定木を学習することは依然として重要な課題である。 本稿では,最大/最小エンベロープがReLU様表現能力を誘導する2つの線形予測器上で,各斜め分割を非線形最小二乗問題として再構成するHynge Regression Tree(HRT)フレームワークを提案する。 結果のノードレベルの最適化はダンプされたニュートン法として解釈できることを示し、そのバックトラックライン探索変種に対するノード目標の単調な減少を確立する。 理論的には、HRTは明示的な$O(δ^2)$近似率を持つ普遍近似器である。 HRT-Boostは,ノードレベルのニュートン更新を段階的機能的勾配降下と組み合わせた,数学的にシナジスティックなアンサンブル拡張である。 このアンサンブル構造は,2乗損失下での段階的な経験的リスク低減を保証することを示す。 合成および実世界のベンチマークに関する実証的な評価では、HRTは確立された単一木のベースラインと高い競争力を示し、HRT-Boostは強いアンサンブルベースラインと好意的に比較し、しばしばよりコンパクトなモデルを生成する。 コードはhttps://github.com/Hongyi-Li-sz/HRT-Boost.comで公開されている。

関連論文リスト

• Hinge Regression Tree: A Newton Method for Oblique Regression Tree Splitting [18.562483381753804]
  2つの線形予測器上での非線形最小二乗問題として分割するHynge Regression Tree(HRT)を提案する。 このノードレベルの最適化を解析し、バックトラックライン探索の変種について、局所的な目的が単調に減少し収束することを証明する。 合成および実世界のベンチマークで、HRTはよりコンパクトな構造を持つ単木ベースラインにマッチするか、より優れることを示す。
  論文  参考訳（メタデータ） (2026-02-05T06:49:01Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• Gradient Boosted Binary Histogram Ensemble for Large-scale Regression [60.16351608335641]
  本研究では,2値ヒストグラム分割とアンサンブル学習に基づくテキストグラディエント2値ヒストグラムアンサンブル(GBBHE)と呼ばれる大規模回帰問題に対する勾配向上アルゴリズムを提案する。 実験では, 勾配向上回帰木 (GBRT) などの他の最先端アルゴリズムと比較して, GBBHEアルゴリズムは大規模データセット上での実行時間が少なく, 有望な性能を示す。
  論文  参考訳（メタデータ） (2021-06-03T17:05:40Z)
• Stochastic tree ensembles for regularized nonlinear regression [0.913755431537592]
  本稿では,非線形回帰のための新しいツリーアンサンブル法を開発し,これをXBARTと呼ぶ。 ベイズモデルからの正規化と探索戦略と計算効率のよい手法を組み合わせることで、新しい手法は最先端の性能を達成できる。
  論文  参考訳（メタデータ） (2020-02-09T14:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。