論文の概要: Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features

• arxiv url: http://arxiv.org/abs/2206.11844v1
• Date: Thu, 23 Jun 2022 17:19:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-24 14:18:05.116873
• Title: Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features
• Title（参考訳）: Quant-BnB:連続的な特徴を持つ最適決定木のためのスケーラブル分岐境界法
• Authors: Rahul Mazumder, Xiang Meng, Haoyue Wang
• Abstract要約: 本稿では,分岐とバウンド(BnB)に基づく新たな離散最適化手法を提案する。 提案アルゴリズムのQuant-BnBは,様々な実データセット上での浅い最適木に対する既存手法と比較して,大幅な高速化を示す。
• 参考スコア（独自算出の注目度）: 5.663538370244174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees are one of the most useful and popular methods in the machine learning toolbox. In this paper, we consider the problem of learning optimal decision trees, a combinatorial optimization problem that is challenging to solve at scale. A common approach in the literature is to use greedy heuristics, which may not be optimal. Recently there has been significant interest in learning optimal decision trees using various approaches (e.g., based on integer programming, dynamic programming) -- to achieve computational scalability, most of these approaches focus on classification tasks with binary features. In this paper, we present a new discrete optimization method based on branch-and-bound (BnB) to obtain optimal decision trees. Different from existing customized approaches, we consider both regression and classification tasks with continuous features. The basic idea underlying our approach is to split the search space based on the quantiles of the feature distribution -- leading to upper and lower bounds for the underlying optimization problem along the BnB iterations. Our proposed algorithm Quant-BnB shows significant speedups compared to existing approaches for shallow optimal trees on various real datasets.
• Abstract（参考訳）: 決定木は機械学習ツールボックスで最も有用で一般的な方法の1つである。 本稿では,大規模に解決が難しい組合せ最適化問題である最適決定木を学習する問題を考察する。 文学における一般的なアプローチは、最適でないかもしれない欲求的ヒューリスティックを使うことである。 最近、計算のスケーラビリティを達成するために様々なアプローチ(例えば整数プログラミング、動的プログラミング)を使って最適な決定木を学習することに大きな関心が寄せられ、これらのアプローチのほとんどはバイナリ機能を持つ分類タスクに焦点を当てている。 本稿では,分枝結合(bnb)に基づく最適決定木を得るための新しい離散最適化手法を提案する。 既存のカスタマイズアプローチとは異なり、回帰タスクと分類タスクの両方を連続的な特徴で検討する。 提案手法の根底にある基本的な考え方は,BnBイテレーションに沿った最適化問題に対して,特徴分布の量子化に基づいて探索空間を分割することである。 提案アルゴリズムのQuant-BnBは,様々な実データセット上の浅い最適木に対する既存手法と比較して,大幅な高速化を示す。

関連論文リスト

• Optimizing Solution-Samplers for Combinatorial Problems: The Landscape of Policy-Gradient Methods [52.0617030129699]
  本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。 我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。 本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-10-08T23:39:38Z)
• TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
  Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。 解法の効率は、分割する変数を選択するのに使用される分岐に依存する。 分岐を効率的に学習できる強化学習法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T14:01:26Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• bsnsing: A decision tree induction method based on recursive optimal boolean rule composition [2.28438857884398]
  本稿では,決定木帰納過程における分割規則選択を最適化するMIP(Mixed-integer Programming)の定式化を提案する。 商用の解法よりも高速に実例を解くことができる効率的な探索解法を開発した。
  論文  参考訳（メタデータ） (2022-05-30T17:13:57Z)
• Robust Optimal Classification Trees Against Adversarial Examples [5.254093731341154]
  本稿では,ユーザが特定した攻撃モデルに対して最適に堅牢な決定木を訓練する手法の集合を提案する。 逆学習において生じるmin-max最適化問題は、単一最小化定式化を用いて解くことができることを示す。 また,両部マッチングを用いた任意のモデルに対して,上界の対角精度を決定する手法を提案する。
  論文  参考訳（メタデータ） (2021-09-08T18:10:49Z)
• Strong Optimal Classification Trees [8.10995244893652]
  最適二分分類木を学習するための直感的なフローベースMIO定式化を提案する。 我々の定式化は、解釈可能かつ公平な決定木の設計を可能にするために、サイド制約を満たすことができる。 提案手法は最先端MIO技術よりも29倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-03-29T21:40:58Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。