論文の概要: Deep Trees for (Un)structured Data: Tractability, Performance, and Interpretability

• arxiv url: http://arxiv.org/abs/2410.21595v1
• Date: Mon, 28 Oct 2024 23:02:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:39:55.484843
• Title: Deep Trees for (Un)structured Data: Tractability, Performance, and Interpretability
• Title（参考訳）: 構造化データのための深い木:トラクタビリティ、パフォーマンス、解釈可能性
• Authors: Dimitris Bertsimas, Lisa Everest, Jiayi Gu, Matthew Peroni, Vasiliki Stoumpou,
• Abstract要約: 汎用ソフトツリー(GST)を導入し、ソフト決定木(ST)を拡張し、画像を直接処理できる。 トラクタビリティ、パフォーマンス、解釈可能性に関して、これらの利点を示します。 我々は,MIMIC-IV,MNIST,Fashion MNIST,CIFAR-10,Celeb-Aなどのベンチマークデータセットを用いて,GSTの性能を検証した。
• 参考スコア（独自算出の注目度）: 4.462264781248437
• License:
• Abstract: Decision Trees have remained a popular machine learning method for tabular datasets, mainly due to their interpretability. However, they lack the expressiveness needed to handle highly nonlinear or unstructured datasets. Motivated by recent advances in tree-based machine learning (ML) techniques and first-order optimization methods, we introduce Generalized Soft Trees (GSTs), which extend soft decision trees (STs) and are capable of processing images directly. We demonstrate their advantages with respect to tractability, performance, and interpretability. We develop a tractable approach to growing GSTs, given by the DeepTree algorithm, which, in addition to new regularization terms, produces high-quality models with far fewer nodes and greater interpretability than traditional soft trees. We test the performance of our GSTs on benchmark tabular and image datasets, including MIMIC-IV, MNIST, Fashion MNIST, CIFAR-10 and Celeb-A. We show that our approach outperforms other popular tree methods (CART, Random Forests, XGBoost) in almost all of the datasets, with Convolutional Trees having a significant edge in the hardest CIFAR-10 and Fashion MNIST datasets. Finally, we explore the interpretability of our GSTs and find that even the most complex GSTs are considerably more interpretable than deep neural networks. Overall, our approach of Generalized Soft Trees provides a tractable method that is high-performing on (un)structured datasets and preserves interpretability more than traditional deep learning methods.
• Abstract（参考訳）: 決定木は、主にその解釈可能性のために、表形式のデータセットの一般的な機械学習手法であり続けている。 しかし、非常に非線形または非構造的なデータセットを扱うのに必要な表現力は欠如している。 近年のツリーベース機械学習(ML)技術と一階最適化手法の進歩により,ソフト決定木(ST)を拡張し,画像を直接処理できる汎用ソフトツリー(GST)を導入した。 トラクタビリティ、パフォーマンス、解釈可能性に関して、これらの利点を示します。 我々は,新しい正規化項に加えて,従来のソフトツリーよりもはるかに少ないノードと高い解釈性を持つ高品質なモデルを生成するDeepTreeアルゴリズムによって与えられる,GSTの増大に対するトラクタブルなアプローチを開発する。 我々は,MIMIC-IV,MNIST,Fashion MNIST,CIFAR-10,Celeb-Aなどのベンチマーク表および画像データセットを用いて,GSTの性能を検証した。 我々は,最も難しいCIFAR-10とFashion MNISTデータセットにおいて,Convolutional Treesが重要なエッジを持つため,他の一般的な木手法(CART,ランダムフォレスト,XGBoost)よりも優れていることを示す。 最後に、GSTの解釈可能性を調べ、最も複雑なGSTでさえ、ディープニューラルネットワークよりもかなり解釈可能であることを発見した。 総合ソフトツリーのアプローチは、構造化されていないデータセット上で高い性能を示し、従来のディープラーニング手法よりも解釈可能性を維持したトラクタブルな手法を提供する。

関連論文リスト

• Escaping the Forest: Sparse Interpretable Neural Networks for Tabular Data [0.0]
  我々のモデルであるSparse TABular NET や sTAB-Net がツリーベースモデルよりも効果的であることを示す。 SHAPのようなポストホックメソッドよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-10-23T10:50:07Z)
• Online Learning of Decision Trees with Thompson Sampling [12.403737756721467]
  決定木は解釈可能な機械学習のための顕著な予測モデルである。 オンライン環境で最適な決定木を生成できるモンテカルロ木探索アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2024-04-09T15:53:02Z)
• Rapid and Precise Topological Comparison with Merge Tree Neural Networks [7.443474354626664]
  本稿では,Merge Tree Neural Network (MTNN)について紹介する。 まず,グラフの効率的なエンコーダとして出現したグラフニューラルネットワークをトレーニングして,ベクトル空間にマージツリーを埋め込む方法を示す。 次に、木とノードの埋め込みと新しいトポロジカルアテンション機構を統合することにより、類似性の比較をさらに改善する新しいMTNNモデルを定式化する。
  論文  参考訳（メタデータ） (2024-04-08T21:26:04Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• Hierarchical clustering with dot products recovers hidden tree structure [53.68551192799585]
  本稿では,階層構造の回復に着目した凝集クラスタリングアルゴリズムの新しい視点を提案する。 クラスタを最大平均点積でマージし、例えば最小距離やクラスタ内分散でマージしないような、標準的なアルゴリズムの単純な変種を推奨する。 このアルゴリズムにより得られた木は、汎用確率的グラフィカルモデルの下で、データ中の生成的階層構造をボナフェイド推定することを示した。
  論文  参考訳（メタデータ） (2023-05-24T11:05:12Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Visualizing hierarchies in scRNA-seq data using a density tree-biased autoencoder [50.591267188664666]
  本研究では,高次元scRNA-seqデータから意味のある木構造を同定する手法を提案する。 次に、低次元空間におけるデータのツリー構造を強調する木バイアスオートエンコーダDTAEを紹介する。
  論文  参考訳（メタデータ） (2021-02-11T08:48:48Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。