論文の概要: Learning accurate and interpretable decision trees
- arxiv url: http://arxiv.org/abs/2405.15911v1
- Date: Fri, 24 May 2024 20:10:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 02:10:19.802052
- Title: Learning accurate and interpretable decision trees
- Title（参考訳）: 正確かつ解釈可能な決定木を学習する
- Authors: Maria-Florina Balcan, Dravyansh Sharma,
- Abstract要約: 我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。
本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。
また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
- 参考スコア（独自算出の注目度）: 27.203303726977616
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision trees are a popular tool in machine learning and yield easy-to-understand models. Several techniques have been proposed in the literature for learning a decision tree classifier, with different techniques working well for data from different domains. In this work, we develop approaches to design decision tree learning algorithms given repeated access to data from the same domain. We propose novel parameterized classes of node splitting criteria in top-down algorithms, which interpolate between popularly used entropy and Gini impurity based criteria, and provide theoretical bounds on the number of samples needed to learn the splitting function appropriate for the data at hand. We also study the sample complexity of tuning prior parameters in Bayesian decision tree learning, and extend our results to decision tree regression. We further consider the problem of tuning hyperparameters in pruning the decision tree for classical pruning algorithms including min-cost complexity pruning. We also study the interpretability of the learned decision trees and introduce a data-driven approach for optimizing the explainability versus accuracy trade-off using decision trees. Finally, we demonstrate the significance of our approach on real world datasets by learning data-specific decision trees which are simultaneously more accurate and interpretable.
- Abstract（参考訳）: 決定木は機械学習において一般的なツールであり、理解しやすいモデルを生成する。
決定木分類器を学習するためのいくつかの手法が文献で提案されており、異なる領域のデータに対して異なる手法がうまく機能している。
本研究では,同じドメインから繰り返しデータにアクセス可能な決定木学習アルゴリズムの設計手法を開発する。
本稿では,一般的なエントロピーとギニの不純物基準を補間するトップダウンアルゴリズムにおいて,ノード分割基準のパラメータ化クラスを提案し,データに適する分割関数の学習に必要なサンプル数に関する理論的境界を提供する。
また、ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し、決定木回帰に結果を拡張した。
さらに,ミンコスト複雑性プルーニングを含む古典的プルーニングアルゴリズムにおいて,決定木をプルーニングする際のハイパーパラメータのチューニングの問題についても検討する。
また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
最後に、より正確かつ解釈可能なデータ固有の決定木を学習することで、実世界のデータセットに対するアプローチの重要性を実証する。
関連論文リスト
- Decision Trees for Interpretable Clusters in Mixture Models and Deep Representations [5.65604054654671]
混合モデルに対する説明可能性-雑音比の概念を導入する。
本研究では,混合モデルを入力として,データに依存しない時間に適切な木を構築するアルゴリズムを提案する。
結果の決定ツリーの誤り率について,上と下の境界を証明した。
論文 参考訳（メタデータ） (2024-11-03T14:00:20Z) - Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。
我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。
OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
論文 参考訳（メタデータ） (2024-06-12T08:31:34Z) - Online Learning of Decision Trees with Thompson Sampling [12.403737756721467]
決定木は解釈可能な機械学習のための顕著な予測モデルである。
オンライン環境で最適な決定木を生成できるモンテカルロ木探索アルゴリズムを考案した。
論文 参考訳（メタデータ） (2024-04-09T15:53:02Z) - An Interpretable Client Decision Tree Aggregation process for Federated Learning [7.8973037023478785]
本稿では,フェデレート学習シナリオを対象とした解釈可能なクライアント決定木集約プロセスを提案する。
このモデルは、決定ツリーの複数の決定パスの集約に基づいており、ID3やCARTなど、さまざまな決定ツリータイプで使用することができる。
4つのデータセットで実験を行い、分析により、モデルで構築された木が局所モデルを改善し、最先端のモデルより優れていることが示された。
論文 参考訳（メタデータ） (2024-04-03T06:53:56Z) - Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。
我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
論文 参考訳（メタデータ） (2024-02-06T07:40:53Z) - Greedy Algorithm for Inference of Decision Trees from Decision Rule
Systems [0.0]
決定木と決定ルールシステムは属性、知識表現ツール、アルゴリズムとして重要な役割を果たす。
本稿では,逆変換問題について考察する。
本研究は,決定木全体を構築する代わりに,与えられた属性に対する決定木の操作をシミュレートする欲求時間アルゴリズムに焦点を当てる。
論文 参考訳（メタデータ） (2024-01-08T09:28:55Z) - TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。
解法の効率は、分割する変数を選択するのに使用される分岐に依存する。
分岐を効率的に学習できる強化学習法を提案する。
論文 参考訳（メタデータ） (2023-06-09T14:01:26Z) - Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。
近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
論文 参考訳（メタデータ） (2021-01-20T16:47:59Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳（メタデータ） (2020-12-29T18:05:05Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-06-15T19:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。