論文の概要: Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees

• arxiv url: http://arxiv.org/abs/2402.06386v1
• Date: Fri, 9 Feb 2024 13:08:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 16:52:14.940370
• Title: Boosting-Based Sequential Meta-Tree Ensemble Construction for Improved Decision Trees
• Title（参考訳）: 改良決定木のためのブースティングに基づく逐次メタツリーアンサンブル構築
• Authors: Ryota Maniwa, Naoki Ichijo, Yuta Nakahara, and Toshiyasu Matsushima
• Abstract要約: 決定木は、機械学習分野における最も一般的なアプローチの1つである。 近年,過度に深化した木による過剰適合の問題を解決するために,メタツリーが提案されている。 メタツリーはベイズ決定理論に基づく統計的最適性を保証する。
• 参考スコア（独自算出の注目度）: 1.8749305679160366
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A decision tree is one of the most popular approaches in machine learning fields. However, it suffers from the problem of overfitting caused by overly deepened trees. Then, a meta-tree is recently proposed. It solves the problem of overfitting caused by overly deepened trees. Moreover, the meta-tree guarantees statistical optimality based on Bayes decision theory. Therefore, the meta-tree is expected to perform better than the decision tree. In contrast to a single decision tree, it is known that ensembles of decision trees, which are typically constructed boosting algorithms, are more effective in improving predictive performance. Thus, it is expected that ensembles of meta-trees are more effective in improving predictive performance than a single meta-tree, and there are no previous studies that construct multiple meta-trees in boosting. Therefore, in this study, we propose a method to construct multiple meta-trees using a boosting approach. Through experiments with synthetic and benchmark datasets, we conduct a performance comparison between the proposed methods and the conventional methods using ensembles of decision trees. Furthermore, while ensembles of decision trees can cause overfitting as well as a single decision tree, experiments confirmed that ensembles of meta-trees can prevent overfitting due to the tree depth.
• Abstract（参考訳）: 意思決定木は、機械学習分野で最も人気のあるアプローチの1つです。 しかし、過度に深い木によって引き起こされる過密の問題に苦しむ。 そして、最近メタツリーが提案されている。 過度に深化した木が原因で過度に収まるという問題を解決する。 さらにメタツリーはベイズ決定理論に基づく統計的最適性を保証する。 したがって、メタツリーは決定木よりも優れたパフォーマンスを期待できる。 一つの決定木とは対照的に、通常ブーピングアルゴリズムで構築される決定木のアンサンブルは、予測性能を改善する上でより効果的であることが知られている。 したがって、単一のメタツリーよりも予測性能を改善するためにメタツリーのアンサンブルがより効果的であることが期待され、ブースティングにおいて複数のメタツリーを構築する以前の研究は存在しない。 そこで本研究では,ブースティング手法を用いて複数のメタツリーを構築する手法を提案する。 合成およびベンチマークデータセットを用いた実験により,提案手法と従来の決定木のアンサンブルを用いた手法との性能比較を行った。 さらに, 決定木のアンサンブルは, オーバーフィッティングや単一決定木の原因となる可能性があるが, メタツリーのアンサンブルは, 木深さによるオーバーフィッティングを防止できることを確認した。

関連論文リスト

• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Divide, Conquer, Combine Bayesian Decision Tree Sampling [1.1879716317856945]
  決定木は、その柔軟性と解釈可能性のために予測モデルとして一般的に使用される。 本稿では,ベイズ推定手法を用いて決定木予測の不確かさを定量化する。
  論文  参考訳（メタデータ） (2024-03-26T23:14:15Z)
• An Algorithmic Framework for Constructing Multiple Decision Trees by Evaluating Their Combination Performance Throughout the Construction Process [1.8749305679160366]
  決定木の組み合わせによる予測は機械学習に有効であることが知られている。 本稿では,決定木を同時に構築し,それらの組み合わせ性能を評価するアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-09T14:58:07Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
  本稿では,決定木誘導に対するベイズ的アプローチを提案する。 そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-26T23:43:37Z)
• Permutation Decision Trees [3.089408984959925]
  Effort-To-Compress (ETC) は、新しい不純物尺度として初めて複雑性尺度である。 置換決定木と様々な実世界のデータセットにおける古典的決定木の性能比較を行う。
  論文  参考訳（メタデータ） (2023-06-05T06:31:14Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Convex Polytope Trees [57.56078843831244]
  コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。 木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
  論文  参考訳（メタデータ） (2020-10-21T19:38:57Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。