論文の概要: ForestPrune: Compact Depth-Controlled Tree Ensembles

• arxiv url: http://arxiv.org/abs/2206.00128v1
• Date: Tue, 31 May 2022 22:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-02 15:44:47.934145
• Title: ForestPrune: Compact Depth-Controlled Tree Ensembles
• Title（参考訳）: forestprune:コンパクトな深さ制御ツリーアンサンブル
• Authors: Brian Liu and Rahul Mazumder
• Abstract要約: ForestPruneは、木アンサンブルを後処理できる新しい最適化フレームワークである。 ForestPruneは、パフォーマンスに最小限のコストで、アンサンブルの空間の複雑さを大幅に削減することができる。 本研究では,フォレストプルーンのモデルサイズを20倍に削減できることを示す。
• 参考スコア（独自算出の注目度）: 7.538482310185135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree ensembles are versatile supervised learning algorithms that achieve state-of-the-art performance. These models are extremely powerful but can grow to enormous sizes. As a result, tree ensembles are often post-processed to reduce memory footprint and improve interpretability. In this paper, we present ForestPrune, a novel optimization framework that can post-process tree ensembles by pruning depth layers from individual trees. We also develop a new block coordinate descent method to efficiently obtain high-quality solutions to optimization problems under this framework. The number of nodes in a decision tree increases exponentially with tree depth, so pruning deep trees can drastically improve model parsimony. ForestPrune can substantially reduce the space complexity of an ensemble for a minimal cost to performance. The framework supports various weighting schemes and contains just a single hyperparameter to tune. In our experiments, we observe that ForestPrune can reduce model size 20-fold with negligible performance loss.
• Abstract（参考訳）: ツリーアンサンブルは最先端のパフォーマンスを実現する汎用教師あり学習アルゴリズムである。 これらのモデルは非常に強力だが、巨大なサイズに成長することができる。 その結果、ツリーアンサンブルはメモリフットプリントを減らし、解釈性を改善するために後処理されることが多い。 本稿では,個々の木から深度層を刈り取ることで,木アンサンブルを後処理できる新しい最適化フレームワークであるフォレストプルーを提案する。 また, 最適化問題に対する高品質な解を効率的に得るための新しいブロック座標降下法を開発した。 決定木のノード数は木深さとともに指数関数的に増加するため、深い木を刈り取ることでモデルパシモニーを大幅に改善することができる。 forestpruneはパフォーマンスに最小限のコストでアンサンブルのスペースの複雑さを大幅に削減できる。 このフレームワークは様々な重み付けスキームをサポートし、チューニングするハイパーパラメータを1つだけ含んでいる。 実験では,森林原生林は性能の低下を伴い,モデルサイズを20倍に削減できることを確認した。

関連論文リスト

• Can a Single Tree Outperform an Entire Forest? [5.448070998907116]
  一般的な考え方は、単一の決定木は、テスト精度において古典的なランダムな森林を過小評価する。 本研究では,斜め回帰木の試験精度を大幅に向上させることで,このような考え方に挑戦する。 本手法は,木習熟を非制約最適化タスクとして再編成する。
  論文  参考訳（メタデータ） (2024-11-26T00:18:18Z)
• Free Lunch in the Forest: Functionally-Identical Pruning of Boosted Tree Ensembles [45.962492329047215]
  木アンサンブルを原モデルと「機能的に同一」な縮小版にプルークする方法を提案する。 我々は,アンサンブル上での機能的同一プルーニングの問題を形式化し,正確な最適化モデルを導入し,大規模なアンサンブルをプルーする高速かつ高効率な方法を提供する。
  論文  参考訳（メタデータ） (2024-08-28T23:15:46Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
  本稿では,決定木誘導に対するベイズ的アプローチを提案する。 そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-26T23:43:37Z)
• Bayesian post-hoc regularization of random forests [0.0]
  Random Forestsは、さまざまな機械学習タスクで広く使われている強力なアンサンブル学習アルゴリズムである。 そこで本研究では,葉ノードが根に近づいた場合の信頼性パターンを活用するために,ポストホック正則化を提案する。 各種機械学習データセットを用いて,本手法の性能評価を行った。
  論文  参考訳（メタデータ） (2023-06-06T14:15:29Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。