論文の概要: RS-ORT: A Reduced-Space Branch-and-Bound Algorithm for Optimal Regression Trees

• arxiv url: http://arxiv.org/abs/2510.23901v1
• Date: Mon, 27 Oct 2025 22:17:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 15:35:36.601543
• Title: RS-ORT: A Reduced-Space Branch-and-Bound Algorithm for Optimal Regression Trees
• Title（参考訳）: RS-ORT: 最適回帰木のための空間分岐境界アルゴリズム
• Authors: Cristobal Heredia, Pedro Chumpitaz-Flores, Kaixun Hua,
• Abstract要約: MIP(Mixed-integer Programming)は最適な決定木を学習するための強力なフレームワークとして登場した。 連続的な特徴を内在的にバイナライズすることは、グローバルな最適性を犠牲にし、しばしば不必要に深い木を産み出す。 最適回帰木学習を2段階最適化問題として再放送し、RS-ORT(Reduceed-Space Optimal Regression Trees)を提案する。 RS-ORTは木構造変数のみに枝分かれする特殊分岐結合(BB)アルゴリズムである。
• 参考スコア（独自算出の注目度）: 2.612627266839037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixed-integer programming (MIP) has emerged as a powerful framework for learning optimal decision trees. Yet, existing MIP approaches for regression tasks are either limited to purely binary features or become computationally intractable when continuous, large-scale data are involved. Naively binarizing continuous features sacrifices global optimality and often yields needlessly deep trees. We recast the optimal regression-tree training as a two-stage optimization problem and propose Reduced-Space Optimal Regression Trees (RS-ORT) - a specialized branch-and-bound (BB) algorithm that branches exclusively on tree-structural variables. This design guarantees the algorithm's convergence and its independence from the number of training samples. Leveraging the model's structure, we introduce several bound tightening techniques - closed-form leaf prediction, empirical threshold discretization, and exact depth-1 subtree parsing - that combine with decomposable upper and lower bounding strategies to accelerate the training. The BB node-wise decomposition enables trivial parallel execution, further alleviating the computational intractability even for million-size datasets. Based on the empirical studies on several regression benchmarks containing both binary and continuous features, RS-ORT also delivers superior training and testing performance than state-of-the-art methods. Notably, on datasets with up to 2,000,000 samples with continuous features, RS-ORT can obtain guaranteed training performance with a simpler tree structure and a better generalization ability in four hours.
• Abstract（参考訳）: MIP(Mixed-integer Programming)は最適な決定木を学習するための強力なフレームワークとして登場した。 しかし、回帰タスクに対する既存のMIPアプローチは、純粋にバイナリな機能に制限されるか、連続した大規模データに関わる場合、計算的に難解になる。 連続的な特徴を内在的にバイナライズすることは、グローバルな最適性を犠牲にし、しばしば不必要に深い木を産み出す。 最適回帰木学習を2段階最適化問題として再検討し,木構造変数のみに枝分かれする特殊分岐結合(BB)アルゴリズムであるReduceed-Space Optimal Regression Trees (RS-ORT)を提案する。 この設計は、アルゴリズムの収束とトレーニングサンプルの数からの独立性を保証する。 モデル構造を応用し, クローズドフォーム葉の予測, 経験的しきい値の離散化, および深度-1部分木解析という, 分解可能な上・下界戦略と組み合わせて訓練を加速する, 拘束的締め付け手法を導入する。 BBノードの分解により、自明な並列実行が可能となり、百万規模のデータセットであっても計算の難しさが軽減される。 バイナリと継続的両方の特徴を含むいくつかの回帰ベンチマークに関する実証的研究に基づいて、RS-ORTは最先端の手法よりも優れたトレーニングとテストのパフォーマンスを提供する。 特に、最大2000,000サンプルの連続的な特徴を持つデータセットでは、RS-ORTは、より単純なツリー構造と4時間でより優れた一般化能力を備えた保証されたトレーニングパフォーマンスを得ることができる。

関連論文リスト

• TreePO: Bridging the Gap of Policy Optimization and Efficacy and Inference Efficiency with Heuristic Tree-based Modeling [65.46347858249295]
  TreePOは自己誘導型ロールアウトアルゴリズムで、シーケンス生成を木構造検索プロセスとして見る。 TreePOは基本的に、探索の多様性を保存または強化しながら、更新毎の計算負担を削減します。
  論文  参考訳（メタデータ） (2025-08-24T16:52:37Z)
• Soft regression trees: a model variant and a decomposition training algorithm [0.24578723416255752]
  そこで本研究では,各入力ベクトルに対して,単一の葉ノードに関連付けられた線形回帰として定義する,ソフト多変量回帰木(SRT)の新たな変種を提案する。 SRTは条件付き計算特性、すなわち各予測は少数のノードに依存する。 15のよく知られたデータセットの実験により、従来のソフトレグレッションツリーと比較して、我々のSRTと分解アルゴリズムは高い精度とロバスト性が得られることが示された。
  論文  参考訳（メタデータ） (2025-01-10T13:06:36Z)
• Des-q: a quantum algorithm to provably speedup retraining of decision trees [2.7262923206583136]
  Des-qは、回帰および二分分類タスクのための決定木を構築し、再訓練するための新しい量子アルゴリズムである。 我々は,複数のデータセット上での最先端の古典的手法に対して,Des-qのシミュレーションバージョンをベンチマークする。 提案アルゴリズムは,最新の決定木に類似した性能を示しながら,周期木再学習を著しく高速化する。
  論文  参考訳（メタデータ） (2023-09-18T17:56:08Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Reinforcement Learning for Branch-and-Bound Optimisation using Retrospective Trajectories [72.15369769265398]
  機械学習は分岐のための有望なパラダイムとして登場した。 分岐のための単純かつ効果的なRLアプローチであるレトロ分岐を提案する。 我々は現在最先端のRL分岐アルゴリズムを3～5倍に上回り、500の制約と1000の変数を持つMILP上での最高のILメソッドの性能の20%以内である。
  論文  参考訳（メタデータ） (2022-05-28T06:08:07Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。