論文の概要: ForestPrune: Compact Depth-Controlled Tree Ensembles
- arxiv url: http://arxiv.org/abs/2206.00128v3
- Date: Wed, 24 May 2023 20:17:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-27 00:15:08.697227
- Title: ForestPrune: Compact Depth-Controlled Tree Ensembles
- Title(参考訳): forestprune:コンパクトな深さ制御ツリーアンサンブル
- Authors: Brian Liu and Rahul Mazumder
- Abstract要約: 我々は,個々の木から深度層を刈り取ることで,木アンサンブルを後処理する新しいフレームワークであるフォレストプルーを紹介する。
本研究では,フォレストプルーネにおける問題に対する高品質な解を効率的に得るための最適化アルゴリズムを開発した。
実験により、フォレストプルーンは既存の後処理アルゴリズムによって抽出されたモデルより優れたパシモニアスモデルを生成することを示した。
- 参考スコア(独自算出の注目度): 7.538482310185135
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Tree ensembles are powerful models that achieve excellent predictive
performances, but can grow to unwieldy sizes. These ensembles are often
post-processed (pruned) to reduce memory footprint and improve
interpretability. We present ForestPrune, a novel optimization framework to
post-process tree ensembles by pruning depth layers from individual trees.
Since the number of nodes in a decision tree increases exponentially with tree
depth, pruning deep trees drastically compactifies ensembles. We develop a
specialized optimization algorithm to efficiently obtain high-quality solutions
to problems under ForestPrune. Our algorithm typically reaches good solutions
in seconds for medium-size datasets and ensembles, with 10000s of rows and 100s
of trees, resulting in significant speedups over existing approaches. Our
experiments demonstrate that ForestPrune produces parsimonious models that
outperform models extracted by existing post-processing algorithms.
- Abstract(参考訳): ツリーアンサンブルは、優れた予測性能を達成する強力なモデルであるが、サイズは小さくなりうる。
これらのアンサンブルは、メモリフットプリントを減らし、解釈性を改善するために後処理されることが多い。
我々は,個々の木から深度層を刈り取ることで,木アンサンブルを後処理するための新しい最適化フレームワークであるフォレストプルーを紹介する。
決定木のノード数は木深さとともに指数関数的に増加するため、深い木を刈り取ることでアンサンブルを劇的にコンパクト化する。
本研究では,フォレストプルーネにおける問題に対する高品質な解を効率的に得るための最適化アルゴリズムを開発した。
我々のアルゴリズムは、通常、中規模のデータセットやアンサンブルに対して数秒で良い解に到達し、1万の行と100のツリーを持つため、既存のアプローチよりも大幅にスピードアップする。
実験により,forestprune が既存の後処理アルゴリズムで抽出したモデルに匹敵する並列モデルを生成することを実証した。
関連論文リスト
- Learning a Decision Tree Algorithm with Transformers [80.49817544396379]
本稿では,従来のアルゴリズムから出力されたフィルタを用いてトランスフォーマーモデルを用いて,分類のための強力な決定木を生成するメタトレーについて紹介する。
次にMetaTreeをトレーニングして、強力な一般化パフォーマンスを実現するツリーを生成します。
論文 参考訳(メタデータ) (2024-02-06T07:40:53Z) - MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
本稿では,決定木誘導に対するベイズ的アプローチを提案する。
そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-26T23:43:37Z) - On Computing Optimal Tree Ensembles [8.941441654913644]
ランダム林や、より一般的には(決定ノブレイクダッシュ-)ツリーアンサンブルは、分類と回帰の方法として広く使われている。
最近のアルゴリズムの進歩は、そのサイズや深さなどの様々な測定に最適な決定木を計算することができる。
2つの新しいアルゴリズムと対応する下位境界を提供する。
論文 参考訳(メタデータ) (2023-06-07T13:30:43Z) - Bayesian post-hoc regularization of random forests [0.0]
Random Forestsは、さまざまな機械学習タスクで広く使われている強力なアンサンブル学習アルゴリズムである。
そこで本研究では,葉ノードが根に近づいた場合の信頼性パターンを活用するために,ポストホック正則化を提案する。
各種機械学習データセットを用いて,本手法の性能評価を行った。
論文 参考訳(メタデータ) (2023-06-06T14:15:29Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃
提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。
私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
論文 参考訳(メタデータ) (2020-10-22T10:59:49Z) - Convex Polytope Trees [57.56078843831244]
コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。
木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
論文 参考訳(メタデータ) (2020-10-21T19:38:57Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳(メタデータ) (2020-06-15T19:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。