論文の概要: The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of
Decision Trees
- arxiv url: http://arxiv.org/abs/2006.14118v1
- Date: Thu, 25 Jun 2020 00:47:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 02:54:19.716767
- Title: The Max-Cut Decision Tree: Improving on the Accuracy and Running Time of
Decision Trees
- Title(参考訳): 最大カット決定木:決定木の正確性と実行時間の改善
- Authors: Jonathan Bodine and Dorit S. Hochbaum
- Abstract要約: Max-Cut決定木は、分類決定木構築の標準的なベースラインモデル(正確にはCART Gini)に新しい修正を加えている。
実験の結果,このノードベースの局所化PCAは分類を劇的に改善すると同時に,ベースライン決定木に比べて計算時間を著しく短縮できることがわかった。
CIFAR-100の例では、CPU時間を94%削減しつつ、49%の精度向上を実現している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Decision trees are a widely used method for classification, both by
themselves and as the building blocks of multiple different ensemble learning
methods. The Max-Cut decision tree involves novel modifications to a standard,
baseline model of classification decision tree construction, precisely CART
Gini. One modification involves an alternative splitting metric, maximum cut,
based on maximizing the distance between all pairs of observations belonging to
separate classes and separate sides of the threshold value. The other
modification is to select the decision feature from a linear combination of the
input features constructed using Principal Component Analysis (PCA) locally at
each node. Our experiments show that this node-based localized PCA with the
novel splitting modification can dramatically improve classification, while
also significantly decreasing computational time compared to the baseline
decision tree. Moreover, our results are most significant when evaluated on
data sets with higher dimensions, or more classes; which, for the example data
set CIFAR-100, enable a 49% improvement in accuracy while reducing CPU time by
94%. These introduced modifications dramatically advance the capabilities of
decision trees for difficult classification tasks.
- Abstract(参考訳): 決定木(Decision Tree)は,複数の異なるアンサンブル学習手法の構成要素として,単独でも広く用いられている分類法である。
Max-Cut決定木は、分類決定木構築の標準的なベースラインモデル(正確にはCART Gini)に新しい修正を加えている。
1つの修正は、異なるクラスに属する全ての観測のペアとしきい値の分離側の間の距離を最大化することに基づいて、代替の分割計量、最大カットを含む。
もう1つの変更は、各ノードで主成分分析(PCA)を用いて構築された入力特徴の線形結合から決定特徴を選択することである。
実験により,新しい分割修正を伴うノードベースの局所化pcaは分類を劇的に改善すると同時に,ベースライン決定木と比較して計算時間を著しく短縮することを示した。
さらに,高次元あるいはそれ以上のクラスを持つデータセットで評価した場合,この結果が最も有意であり,例えばcifar-100では,cpu時間を94%削減しながら,精度を49%向上させることができた。
これらの変更により、難しい分類作業のための決定木の性能が劇的に向上した。
関連論文リスト
- Learning a Decision Tree Algorithm with Transformers [80.49817544396379]
本稿では,従来のアルゴリズムから出力されたフィルタを用いてトランスフォーマーモデルを用いて,分類のための強力な決定木を生成するメタトレーについて紹介する。
次にMetaTreeをトレーニングして、強力な一般化パフォーマンスを実現するツリーを生成します。
論文 参考訳(メタデータ) (2024-02-06T07:40:53Z) - bsnsing: A decision tree induction method based on recursive optimal
boolean rule composition [2.28438857884398]
本稿では,決定木帰納過程における分割規則選択を最適化するMIP(Mixed-integer Programming)の定式化を提案する。
商用の解法よりも高速に実例を解くことができる効率的な探索解法を開発した。
論文 参考訳(メタデータ) (2022-05-30T17:13:57Z) - Optimal Decision Diagrams for Classification [68.72078059880018]
数学的プログラミングの観点から最適決定図の学習について検討する。
本稿では,新しい混合整数線形プログラミングモデルを提案する。
このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
論文 参考訳(メタデータ) (2022-05-28T18:31:23Z) - Hierarchical Shrinkage: improving the accuracy and interpretability of
tree-based methods [10.289846887751079]
木構造を改変しないポストホックアルゴリズムである階層収縮(Hierarchical Shrinkage, HS)を導入する。
HSは、他の正規化技術と併用しても、決定木の予測性能を大幅に向上させる。
すべてのコードとモデルはGithubにある本格的なパッケージでリリースされている。
論文 参考訳(メタデータ) (2022-02-02T02:43:23Z) - On multivariate randomized classification trees: $l_0$-based sparsity,
VC~dimension and decomposition methods [0.9346127431927981]
Blanquero et alで提案された非線形連続最適化の定式化について検討する。
我々はまず、$l_0$ノルムの凹凸近似に基づいて、そのような木をスパース化する代替手法を検討する。
より大規模なデータセットを用いた実験により,提案手法は精度を損なうことなく,学習時間を著しく短縮できることが示された。
論文 参考訳(メタデータ) (2021-12-09T22:49:08Z) - Optimal randomized classification trees [0.0]
分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。
CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。
この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
論文 参考訳(メタデータ) (2021-10-19T11:41:12Z) - Making CNNs Interpretable by Building Dynamic Sequential Decision
Forests with Top-down Hierarchy Learning [62.82046926149371]
本稿では,CNN(Convlutional Neural Networks)を解釈可能なモデル転送方式を提案する。
我々は、CNNの上に微分可能な意思決定林を構築することで、これを実現する。
DDSDF(Dep Dynamic Sequential Decision Forest)と命名する。
論文 参考訳(メタデータ) (2021-06-05T07:41:18Z) - Convex Polytope Trees [57.56078843831244]
コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。
木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
論文 参考訳(メタデータ) (2020-10-21T19:38:57Z) - Succinct Explanations With Cascading Decision Trees [5.877164140116815]
そこで我々はCascading Decision Treesと呼ぶ新しい決定木モデルを提案する。
私たちの重要な洞察は、意思決定パスと説明パスの概念を分離することです。
カスケード決定木を新しいサンプルに適用すると、非常に短く簡潔な説明が得られる。
論文 参考訳(メタデータ) (2020-10-13T18:48:39Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳(メタデータ) (2020-06-15T19:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。