論文の概要: Learning accurate and interpretable tree-based models

• arxiv url: http://arxiv.org/abs/2405.15911v2
• Date: Sun, 18 May 2025 15:13:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 17:08:51.053555
• Title: Learning accurate and interpretable tree-based models
• Title（参考訳）: 正確かつ解釈可能な木モデル学習
• Authors: Maria-Florina Balcan, Dravyansh Sharma,
• Abstract要約: 我々は、同じドメインからデータに繰り返しアクセスする木に基づく学習アルゴリズムを設計するためのアプローチを開発する。 本稿では,よく使われるエントロピーとジニ不純物に基づく基準を補間するトップダウンアルゴリズムにおいて,ノード分割基準の新しいパラメータ化クラスを提案する。 我々は、ランダムな森林や傾斜した木など、一般的な木に基づくアンサンブルのチューニングに結果を拡張した。
• 参考スコア（独自算出の注目度）: 27.203303726977616
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision trees and their ensembles are popular in machine learning as easy-to-understand models. Several techniques have been proposed in the literature for learning tree-based classifiers, with different techniques working well for data from different domains. In this work, we develop approaches to design tree-based learning algorithms given repeated access to data from the same domain. We study multiple formulations covering different aspects and popular techniques for learning decision tree based approaches. We propose novel parameterized classes of node splitting criteria in top-down algorithms, which interpolate between popularly used entropy and Gini impurity based criteria, and provide theoretical bounds on the number of samples needed to learn the splitting function appropriate for the data at hand. We also study the sample complexity of tuning prior parameters in Bayesian decision tree learning, and extend our results to decision tree regression. We further consider the problem of tuning hyperparameters in pruning the decision tree for classical pruning algorithms including min-cost complexity pruning. In addition, our techniques can be used to optimize the explainability versus accuracy trade-off when using decision trees. We extend our results to tuning popular tree-based ensembles, including random forests and gradient-boosted trees. We demonstrate the significance of our approach on real world datasets by learning data-specific decision trees which are simultaneously more accurate and interpretable.
• Abstract（参考訳）: 決定木とそのアンサンブルは、機械学習において理解しやすいモデルとして人気がある。 木に基づく分類法を学ぶための文献では、異なるドメインのデータに対して、異なるテクニックがうまく機能する、いくつかの技術が提案されている。 本研究では,同じドメインからデータに繰り返しアクセスする木に基づく学習アルゴリズムの設計手法を開発する。 決定木に基づくアプローチを学習するための様々な側面と一般的なテクニックを網羅した複数の定式化について検討する。 本稿では,一般的なエントロピーとギニの不純物基準を補間するトップダウンアルゴリズムにおいて,ノード分割基準のパラメータ化クラスを提案し,データに適する分割関数の学習に必要なサンプル数に関する理論的境界を提供する。 また、ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し、決定木回帰に結果を拡張した。 さらに,ミンコスト複雑性プルーニングを含む古典的プルーニングアルゴリズムにおいて,決定木をプルーニングする際のハイパーパラメータのチューニングの問題についても検討する。 さらに,本手法は,決定木を用いた場合の説明可能性と精度のトレードオフを最適化するためにも利用できる。 我々は、ランダムな森林や傾斜した木など、一般的な木に基づくアンサンブルのチューニングに結果を拡張した。 我々は,より正確かつ解釈可能なデータ固有の決定木を学習することで,実世界のデータセットに対するアプローチの重要性を実証する。

関連論文リスト

• A novel gradient-based method for decision trees optimizing arbitrary differential loss functions [2.4861619769660637]
  本研究では、任意の微分可微分損失関数を最適化する勾配に基づく決定木を構築する新しい手法を提案する。 本手法の分類・回帰・生存分析への適用性を示す。 この方法の実装は公開されており、研究者や実践者に実用的なツールを提供している。
  論文  参考訳（メタデータ） (2025-03-22T20:25:30Z)
• Learning Decision Trees as Amortized Structure Inference [59.65621207449269]
  本稿では,予測決定木アンサンブルを学習するためのハイブリッドアモータイズされた構造推論手法を提案する。 提案手法であるDT-GFNは,標準分類ベンチマークにおける最先端決定木やディープラーニング手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-10T07:05:07Z)
• Optimal Decision Tree Pruning Revisited: Algorithms and Complexity [22.57063332430197]
  我々は,サブツリーの更新と育成の基本的な作業に焦点をあてる。 サブツリー置換に間に合うように最適プルーニングを行うことができるが、サブツリーの更新にはNP完全である。 例えば、サブツリーの上昇は小さなドメインサイズでは難しいが、$D2d cdot |I|O(1)$timeでは、$|I|$が入力サイズである。
  論文  参考訳（メタデータ） (2025-03-05T15:02:46Z)
• Zero-Shot Decision Tree Construction via Large Language Models [2.005837558796176]
  本稿では,大言語モデル(LLM)を用いた決定木構築アルゴリズムについて,分類・回帰木(CART)の原理に基づくゼロショット方式で紹介する。 提案手法では, 属性の離散化, 確率計算, Giniインデックス計算など, 決定木構築に必要な演算を行う。
  論文  参考訳（メタデータ） (2025-01-27T17:48:48Z)
• Decision Trees for Interpretable Clusters in Mixture Models and Deep Representations [5.65604054654671]
  混合モデルに対する説明可能性-雑音比の概念を導入する。 本研究では,混合モデルを入力として,データに依存しない時間に適切な木を構築するアルゴリズムを提案する。 結果の決定ツリーの誤り率について,上と下の境界を証明した。
  論文  参考訳（メタデータ） (2024-11-03T14:00:20Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Online Learning of Decision Trees with Thompson Sampling [12.403737756721467]
  決定木は解釈可能な機械学習のための顕著な予測モデルである。 オンライン環境で最適な決定木を生成できるモンテカルロ木探索アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-04-09T15:53:02Z)
• An Interpretable Client Decision Tree Aggregation process for Federated Learning [7.8973037023478785]
  本稿では,フェデレート学習シナリオを対象とした解釈可能なクライアント決定木集約プロセスを提案する。 このモデルは、決定ツリーの複数の決定パスの集約に基づいており、ID3やCARTなど、さまざまな決定ツリータイプで使用することができる。 4つのデータセットで実験を行い、分析により、モデルで構築された木が局所モデルを改善し、最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-03T06:53:56Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Greedy Algorithm for Inference of Decision Trees from Decision Rule Systems [0.0]
  決定木と決定ルールシステムは属性、知識表現ツール、アルゴリズムとして重要な役割を果たす。 本稿では,逆変換問題について考察する。 本研究は,決定木全体を構築する代わりに,与えられた属性に対する決定木の操作をシミュレートする欲求時間アルゴリズムに焦点を当てる。
  論文  参考訳（メタデータ） (2024-01-08T09:28:55Z)
• TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
  Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。 解法の効率は、分割する変数を選択するのに使用される分岐に依存する。 分岐を効率的に学習できる強化学習法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T14:01:26Z)
• Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
  決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。 近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
  論文  参考訳（メタデータ） (2021-01-20T16:47:59Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。