論文の概要: A Robust Hypothesis Test for Tree Ensemble Pruning

• arxiv url: http://arxiv.org/abs/2301.10115v2
• Date: Wed, 25 Jan 2023 02:55:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-26 12:00:58.059096
• Title: A Robust Hypothesis Test for Tree Ensemble Pruning
• Title（参考訳）: 木組プルーニングのためのロバスト仮説テスト
• Authors: Daniel de Marchi, Matthew Welch, Michael Kosorok
• Abstract要約: そこで我々は,勾配増進木アンサンブルの分割品質に関する理論的に正当化された新しい仮説を考案し,提示する。 本手法は, 一般的なペナルティ条件ではなく, サンプル損失の低減につながることを示す。 また,この手法にいくつかの革新的な拡張を加えて,様々な新しい木刈りアルゴリズムの扉を開く。
• 参考スコア（独自算出の注目度）: 2.4923006485141284
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient boosted decision trees are some of the most popular algorithms in applied machine learning. They are a flexible and powerful tool that can robustly fit to any tabular dataset in a scalable and computationally efficient way. One of the most critical parameters to tune when fitting these models are the various penalty terms used to distinguish signal from noise in the current model. These penalties are effective in practice, but are lacking in robust theoretical justifications. In this paper we develop and present a novel theoretically justified hypothesis test of split quality for gradient boosted tree ensembles and demonstrate that using this method instead of the common penalty terms leads to a significant reduction in out of sample loss. Additionally, this method provides a theoretically well-justified stopping condition for the tree growing algorithm. We also present several innovative extensions to the method, opening the door for a wide variety of novel tree pruning algorithms.
• Abstract（参考訳）: グラディエント強化決定木は、応用機械学習において最も一般的なアルゴリズムの一つである。 柔軟性と強力なツールで、スケーラブルで計算効率のよい方法で、任意の表データセットに堅牢に適合する。 これらのモデルに合わせて調整する最も重要なパラメータの1つは、信号と現在のモデルのノイズを区別するために使われる様々なペナルティ項である。 これらの罰則は実際は有効であるが、堅牢な理論的正当化に欠ける。 本稿では,勾配強化木アンサンブルの分割品質を理論的に正当化する新しい仮説を考案し,本手法を共通のペナルティ項に代えて使用することで,試料損失の大幅な低減をもたらすことを実証する。 さらに,本手法は木成長アルゴリズムの理論的に適正な停止条件を提供する。 また,本手法の革新的拡張をいくつか提示し,多種多様な新規木刈りアルゴリズムの扉を開く。

関連論文リスト

• Can a Single Tree Outperform an Entire Forest? [5.448070998907116]
  一般的な考え方は、単一の決定木は、テスト精度において古典的なランダムな森林を過小評価する。 本研究では,斜め回帰木の試験精度を大幅に向上させることで,このような考え方に挑戦する。 本手法は,木習熟を非制約最適化タスクとして再編成する。
  論文  参考訳（メタデータ） (2024-11-26T00:18:18Z)
• Free Lunch in the Forest: Functionally-Identical Pruning of Boosted Tree Ensembles [45.962492329047215]
  木アンサンブルを原モデルと「機能的に同一」な縮小版にプルークする方法を提案する。 我々は,アンサンブル上での機能的同一プルーニングの問題を形式化し,正確な最適化モデルを導入し,大規模なアンサンブルをプルーする高速かつ高効率な方法を提供する。
  論文  参考訳（メタデータ） (2024-08-28T23:15:46Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• The Cascaded Forward Algorithm for Neural Network Training [61.06444586991505]
  本稿では,ニューラルネットワークのための新しい学習フレームワークであるCascaded Forward(CaFo)アルゴリズムを提案する。 FFとは異なり、我々のフレームワークは各カスケードブロックのラベル分布を直接出力する。 我々のフレームワークでは、各ブロックは独立して訓練できるので、並列加速度システムに容易に展開できる。
  論文  参考訳（メタデータ） (2023-03-17T02:01:11Z)
• bsnsing: A decision tree induction method based on recursive optimal boolean rule composition [2.28438857884398]
  本稿では,決定木帰納過程における分割規則選択を最適化するMIP(Mixed-integer Programming)の定式化を提案する。 商用の解法よりも高速に実例を解くことができる効率的な探索解法を開発した。
  論文  参考訳（メタデータ） (2022-05-30T17:13:57Z)
• Lassoed Tree Boosting [53.56229983630983]
  有界断面変動のカドラー関数の大きな非パラメトリック空間において,早期に停止するn-1/4$ L2の収束速度を持つ勾配向上木アルゴリズムを証明した。 我々の収束証明は、ネストしたドンスカー類の経験的損失最小化子による早期停止に関する新しい一般定理に基づいている。
  論文  参考訳（メタデータ） (2022-05-22T00:34:41Z)
• An Operator Theoretic Perspective on Pruning Deep Neural Networks [2.624902795082451]
  我々は、動的システム理論の最近の進歩を利用して、理論上動機付けられたプルーニングアルゴリズムの新しいクラスを定義する。 これらのアルゴリズムは、等級や勾配に基づくプルーニングと等価であることを示す。
  論文  参考訳（メタデータ） (2021-10-28T02:33:50Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。