論文の概要: Hinge Regression Tree: A Newton Method for Oblique Regression Tree Splitting

• arxiv url: http://arxiv.org/abs/2602.05371v1
• Date: Thu, 05 Feb 2026 06:49:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.795295
• Title: Hinge Regression Tree: A Newton Method for Oblique Regression Tree Splitting
• Title（参考訳）: ヒンジ回帰木:斜め回帰木分割のためのニュートン法
• Authors: Hongyi Li, Han Lin, Jun Xu,
• Abstract要約: 2つの線形予測器上での非線形最小二乗問題として分割するHynge Regression Tree(HRT)を提案する。 このノードレベルの最適化を解析し、バックトラックライン探索の変種について、局所的な目的が単調に減少し収束することを証明する。 合成および実世界のベンチマークで、HRTはよりコンパクトな構造を持つ単木ベースラインにマッチするか、より優れることを示す。
• 参考スコア（独自算出の注目度）: 18.562483381753804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Oblique decision trees combine the transparency of trees with the power of multivariate decision boundaries, but learning high-quality oblique splits is NP-hard, and practical methods still rely on slow search or theory-free heuristics. We present the Hinge Regression Tree (HRT), which reframes each split as a non-linear least-squares problem over two linear predictors whose max/min envelope induces ReLU-like expressive power. The resulting alternating fitting procedure is exactly equivalent to a damped Newton (Gauss-Newton) method within fixed partitions. We analyze this node-level optimization and, for a backtracking line-search variant, prove that the local objective decreases monotonically and converges; in practice, both fixed and adaptive damping yield fast, stable convergence and can be combined with optional ridge regularization. We further prove that HRT's model class is a universal approximator with an explicit $O(δ^2)$ approximation rate, and show on synthetic and real-world benchmarks that it matches or outperforms single-tree baselines with more compact structures.
• Abstract（参考訳）: 斜め決定木は、木々の透明性と多変量決定境界の力を組み合わせるが、高品質な斜め分割の学習はNPハードであり、実用的な方法は依然として遅い探索や理論のないヒューリスティックに依存している。 本稿では,最大/最小エンベロープがReLU様表現力を誘導する2つの線形予測器上で,各分割を非線形最小二乗問題として再配置するHynge Regression Tree(HRT)を提案する。 結果として生じる交互フィッティング手順は、固定分割内での減衰ニュートン法(Gauss-Newton)と全く同じである。 このノードレベルの最適化を解析し、バックトラックライン探索の変種について、局所的な目的が単調に減少し収束することを証明する。 さらに、HRTのモデルクラスが明示的な$O(δ^2)$近似率を持つ普遍近似器であることを証明し、よりコンパクトな構造を持つ単木ベースラインに適合または優れる合成および実世界のベンチマークを示す。

関連論文リスト

• Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
  NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。 本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
  論文  参考訳（メタデータ） (2025-12-31T12:08:29Z)
• RS-ORT: A Reduced-Space Branch-and-Bound Algorithm for Optimal Regression Trees [2.612627266839037]
  MIP(Mixed-integer Programming)は最適な決定木を学習するための強力なフレームワークとして登場した。 連続的な特徴を内在的にバイナライズすることは、グローバルな最適性を犠牲にし、しばしば不必要に深い木を産み出す。 最適回帰木学習を2段階最適化問題として再放送し、RS-ORT(Reduceed-Space Optimal Regression Trees)を提案する。 RS-ORTは木構造変数のみに枝分かれする特殊分岐結合(BB)アルゴリズムである。
  論文  参考訳（メタデータ） (2025-10-27T22:17:09Z)
• Soft regression trees: a model variant and a decomposition training algorithm [0.24578723416255752]
  そこで本研究では,各入力ベクトルに対して,単一の葉ノードに関連付けられた線形回帰として定義する,ソフト多変量回帰木(SRT)の新たな変種を提案する。 SRTは条件付き計算特性、すなわち各予測は少数のノードに依存する。 15のよく知られたデータセットの実験により、従来のソフトレグレッションツリーと比較して、我々のSRTと分解アルゴリズムは高い精度とロバスト性が得られることが示された。
  論文  参考訳（メタデータ） (2025-01-10T13:06:36Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Stochastic tree ensembles for regularized nonlinear regression [0.913755431537592]
  本稿では,非線形回帰のための新しいツリーアンサンブル法を開発し,これをXBARTと呼ぶ。 ベイズモデルからの正規化と探索戦略と計算効率のよい手法を組み合わせることで、新しい手法は最先端の性能を達成できる。
  論文  参考訳（メタデータ） (2020-02-09T14:37:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。