論文の概要: Explaining random forest prediction through diverse rulesets
- arxiv url: http://arxiv.org/abs/2203.15511v1
- Date: Tue, 29 Mar 2022 12:54:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-30 21:47:51.001765
- Title: Explaining random forest prediction through diverse rulesets
- Title（参考訳）: 多様なルールセットによるランダム森林予測の解説
- Authors: Klest Dedja, Felipe Kenji Nakano, Konstantinos Pliakos, Celine Vens
- Abstract要約: Local Tree eXtractor (LTreeX)は、与えられたテストインスタンスのフォレスト予測を、いくつかの異なるルールで説明することができる。
提案手法は予測性能の点で他の説明可能な手法よりも大幅に優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree-ensemble algorithms, such as random forest, are effective machine
learning methods popular for their flexibility, high performance, and
robustness to overfitting. However, since multiple learners are combined,they
are not as interpretable as a single decision tree. In this work we propose a
methodology, called Local Tree eXtractor (LTreeX) which is able to explain the
forest prediction for a given test instance with a few diverse rules. Starting
from the decision trees generated by a random forest, our method 1) pre-selects
a subset of them, 2) creates a vector representation, and 3) eventually
clusters such a representation. Each cluster prototype results in a rule that
explains the test instance prediction. We test the effectiveness of LTreeX on
71 real-world datasets and we demonstrate the validity of our approach for
binary classification, regression, multi-label classification and time-to-event
tasks. In all set-ups, we show that our extracted surrogate model manages to
approximate the performance of the corresponding ensemble model, while
selecting only few trees from the whole forest.We also show that our proposed
approach substantially outperforms other explainable methods in terms of
predictive performance.
- Abstract（参考訳）: ランダムフォレストのようなツリーアンサンブルアルゴリズムは、柔軟性、高いパフォーマンス、過度な適合に対する堅牢性で人気のある機械学習手法である。
しかし、複数の学習者が組み合わさっているため、単一の決定木ほど解釈できない。
本研究では,各テストインスタンスの森林予測を多種多様なルールで説明できるLocal Tree eXtractor (LTreeX) という方法論を提案する。
ランダム・フォレストが生成した決定木を出発点として
1) サブセットを事前に選択する。
2)ベクトル表現を作成し、
3) 最終的にそのような表現をクラスタ化する。
各クラスタプロトタイプは、テストインスタンスの予測を説明するルールを実行します。
実世界の71のデータセット上でのLTreeXの有効性を検証し、バイナリ分類、回帰、複数ラベル分類、時間対イベントタスクに対する我々のアプローチの有効性を示す。
また,本提案手法は,森林全体から数本の樹木のみを選択しながら,対応するアンサンブルモデルの性能を近似できることを示すとともに,提案手法が予測性能の点で,他の説明可能な手法を大幅に上回ることを示した。
関連論文リスト
- Can a Single Tree Outperform an Entire Forest? [5.448070998907116]
一般的な考え方は、単一の決定木は、テスト精度において古典的なランダムな森林を過小評価する。
本研究では,斜め回帰木の試験精度を大幅に向上させることで,このような考え方に挑戦する。
本手法は,木習熟を非制約最適化タスクとして再編成する。
論文 参考訳（メタデータ） (2024-11-26T00:18:18Z) - Binary Classification: Is Boosting stronger than Bagging? [5.877778007271621]
本稿では,バニラ・ランダム・フォレストの拡張である拡張ランダム・フォレストを紹介し,付加機能と適応サンプルおよびモデル重み付けについて述べる。
トレーニングサンプルの重み付けを適応するための反復アルゴリズムを開発し、最も難しい例を選好し、新しいサンプルごとに個別の木の重み付け手法を見つけるためのアプローチを開発した。
本手法は15の異なる二分分類データセットにまたがる通常のランダムフォレストを著しく改善し,XGBoostを含む他の木法よりも優れていた。
論文 参考訳（メタデータ） (2024-10-24T23:22:33Z) - A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming [2.1408617023874443]
木アンサンブル法は、教師付き分類と回帰タスクにおいて有効であることが知られている。
我々の研究は、訓練された木アンサンブルから最適化されたルールのリストを抽出することを目的としており、利用者に凝縮された解釈可能なモデルを提供する。
論文 参考訳（メタデータ） (2024-06-30T22:33:47Z) - Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。
我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
論文 参考訳（メタデータ） (2024-02-06T07:40:53Z) - Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers [68.76846801719095]
統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
論文 参考訳（メタデータ） (2024-02-02T15:36:43Z) - Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。
提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
論文 参考訳（メタデータ） (2023-02-15T10:43:31Z) - A Mathematical Programming Approach to Optimal Classification Forests [1.0705399532413618]
本稿では,与えられた木を同時に構築する数学的最適化手法を提案する。
分類規則は、森林の樹木の中で最も頻繁に予測される分類をそれぞれの観察に割り当てることによって導かれる。
提案手法は,最先端木分類法と同等あるいは優れた性能を示す。
論文 参考訳（メタデータ） (2022-11-18T20:33:08Z) - Contextual Decision Trees [62.997667081978825]
学習アンサンブルの1つの浅い木を特徴量ベースで選択するための,マルチアームのコンテキスト付きバンドレコメンデーションフレームワークを提案する。
トレーニングされたシステムはランダムフォレスト上で動作し、最終的な出力を提供するためのベース予測器を動的に識別する。
論文 参考訳（メタデータ） (2022-07-13T17:05:08Z) - Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。
木の根から葉までの経路は、個々の将来の軌跡を表す。
ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
論文 参考訳（メタデータ） (2022-05-26T12:18:44Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳（メタデータ） (2020-12-29T18:05:05Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。