論文の概要: Improving the Accuracy and Interpretability of Random Forests via Forest
Pruning
- arxiv url: http://arxiv.org/abs/2401.05535v2
- Date: Wed, 24 Jan 2024 02:58:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-25 16:40:37.891424
- Title: Improving the Accuracy and Interpretability of Random Forests via Forest
Pruning
- Title(参考訳): 森林伐採によるランダム林の精度と解釈性の向上
- Authors: Albert Dorador
- Abstract要約: 本稿では,ランダム林の精度と決定木の解釈可能性という,両世界を最大限に活用することを目的としたポストホックアプローチを提案する。
森林伐採手法を2つ提案し, 適度な森林を適度に選抜し, 選択した樹木を1つにまとめる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Decades after their inception, random forests continue to provide
state-of-the-art accuracy in a variety of learning problems, outperforming in
this respect alternative machine learning algorithms such as decision trees or
even neural networks. However, being an ensemble method, the one aspect where
random forests tend to severely underperform decision trees is
interpretability. In the present work, we propose a post-hoc approach that aims
to have the best of both worlds: the accuracy of random forests and the
interpretability of decision trees. To this end, we present two forest-pruning
methods to find an optimal sub-forest within a given random forest, and then,
when applicable, combine the selected trees into one. Our first method relies
on constrained exhaustive search, while our second method is based on an
adaptation of the LASSO methodology. Extensive experiments over synthetic and
real world datasets show that, in the majority of scenarios, at least one of
the two methods proposed is more accurate than the original random forest,
while just using a small fraction of the trees, aiding result interpretability.
Compared to current state-of-the-art forest pruning methods, namely sequential
forward selection and (a variation of) sequential backward selection, our
methods tend to outperform both of them, whether in terms of accuracy, number
of trees employed, or both.
- Abstract(参考訳): 開始から数十年後、ランダム森林は様々な学習問題において最先端の精度を提供し続けており、この点で決定木やニューラルネットワークのような代替機械学習アルゴリズムよりも優れている。
しかし、アンサンブル手法として、無作為林が決定木を著しく過小評価する一面が解釈可能である。
本研究は,無作為林の精度と決定木の解釈可能性という両世界を最大限に活用することを目的としたポストホックアプローチを提案する。
そこで本研究では,指定したランダム林内で最適な亜林を見つけるための2つの森林伐採手法を提案し,適用すると,選択した木を1つにまとめる。
第1の方法は制約付き排他探索に依存し,第2の方法はLASSO手法の適応に基づく。
合成と実世界のデータセットに関する広範囲な実験は、ほとんどのシナリオにおいて、提案された2つの方法のうち少なくとも1つが元のランダムフォレストよりも正確であることを示している。
現在の森林伐採法(シーケンシャル・フォワード・セレクションとシーケンシャル・バック・セレクションのバリエーション)と比較すると, 精度, 木数, あるいはその両方において, どちらの方法よりも優れている傾向にある。
関連論文リスト
- Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers [68.76846801719095]
統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
論文 参考訳(メタデータ) (2024-02-02T15:36:43Z) - A Mathematical Programming Approach to Optimal Classification Forests [1.0705399532413618]
本稿では,与えられた木を同時に構築する数学的最適化手法を提案する。
分類規則は、森林の樹木の中で最も頻繁に予測される分類をそれぞれの観察に割り当てることによって導かれる。
提案手法は,最先端木分類法と同等あるいは優れた性能を示す。
論文 参考訳(メタデータ) (2022-11-18T20:33:08Z) - Contextual Decision Trees [62.997667081978825]
学習アンサンブルの1つの浅い木を特徴量ベースで選択するための,マルチアームのコンテキスト付きバンドレコメンデーションフレームワークを提案する。
トレーニングされたシステムはランダムフォレスト上で動作し、最終的な出力を提供するためのベース予測器を動的に識別する。
論文 参考訳(メタデータ) (2022-07-13T17:05:08Z) - Explaining random forest prediction through diverse rulesets [0.0]
Local Tree eXtractor (LTreeX)は、与えられたテストインスタンスのフォレスト予測を、いくつかの異なるルールで説明することができる。
提案手法は予測性能の点で他の説明可能な手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-03-29T12:54:57Z) - Ensembles of Double Random Forest [1.7205106391379026]
二重ランダム森林のアンサンブルを生成するための2つの手法を提案する。
第1のアプローチでは、二重ランダム森林の回転に基づくアンサンブルを提案する。
第2のアプローチでは、二重ランダム森林の斜めアンサンブルを提案する。
論文 参考訳(メタデータ) (2021-11-03T04:19:41Z) - Minimax Rates for High-Dimensional Random Tessellation Forests [0.0]
モンドリアン林は、任意の次元でミニマックスレートが得られた最初のランダム林である。
概略分割方向を持つ多種多様なランダム林は任意の次元における最小収束率も達成できることを示す。
論文 参考訳(メタデータ) (2021-09-22T06:47:38Z) - Making CNNs Interpretable by Building Dynamic Sequential Decision
Forests with Top-down Hierarchy Learning [62.82046926149371]
本稿では,CNN(Convlutional Neural Networks)を解釈可能なモデル転送方式を提案する。
我々は、CNNの上に微分可能な意思決定林を構築することで、これを実現する。
DDSDF(Dep Dynamic Sequential Decision Forest)と命名する。
論文 参考訳(メタデータ) (2021-06-05T07:41:18Z) - Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a
Random Forest [8.513154770491898]
木深度はプロセス全体にわたって自然な正規化の形式と見なされるべきである。
特に,データの信号対雑音比が低ければ,樹木が浅いランダムな森林が有利であることが示唆された。
論文 参考訳(メタデータ) (2021-03-30T21:57:55Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - Stochastic Optimization Forests [60.523606291705214]
標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。
概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
論文 参考訳(メタデータ) (2020-08-17T16:56:06Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。