論文の概要: Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree
- arxiv url: http://arxiv.org/abs/2302.07580v2
- Date: Thu, 18 Jan 2024 18:42:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-19 20:54:07.099418
- Title: Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree
- Title（参考訳）: 解釈可能性のためのアンボックス木アンサンブル:階層的可視化ツールと多変量最適再構築木
- Authors: Giulia Di Teodoro, Marta Monaci, Laura Palagi
- Abstract要約: 我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。
提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
- 参考スコア（独自算出の注目度）: 0.34530027457862006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The interpretability of models has become a crucial issue in Machine Learning
because of algorithmic decisions' growing impact on real-world applications.
Tree ensemble methods, such as Random Forests or XgBoost, are powerful learning
tools for classification tasks. However, while combining multiple trees may
provide higher prediction quality than a single one, it sacrifices the
interpretability property resulting in "black-box" models. In light of this, we
aim to develop an interpretable representation of a tree-ensemble model that
can provide valuable insights into its behavior. First, given a target
tree-ensemble model, we develop a hierarchical visualization tool based on a
heatmap representation of the forest's feature use, considering the frequency
of a feature and the level at which it is selected as an indicator of
importance. Next, we propose a mixed-integer linear programming (MILP)
formulation for constructing a single optimal multivariate tree that accurately
mimics the target model predictions. The goal is to provide an interpretable
surrogate model based on oblique hyperplane splits, which uses only the most
relevant features according to the defined forest's importance indicators. The
MILP model includes a penalty on feature selection based on their frequency in
the forest to further induce sparsity of the splits. The natural formulation
has been strengthened to improve the computational performance of
{mixed-integer} software. Computational experience is carried out on benchmark
datasets from the UCI repository using a state-of-the-art off-the-shelf solver.
Results show that the proposed model is effective in yielding a shallow
interpretable tree approximating the tree-ensemble decision function.
- Abstract（参考訳）: アルゴリズムによる決定が現実世界のアプリケーションに与える影響が増しているため、モデルの解釈性は機械学習において重要な問題となっている。
Random ForestsやXgBoostのようなツリーアンサンブル手法は、分類タスクのための強力な学習ツールである。
しかし、複数の木を組み合わせることで、単一の木よりも高い予測品質が得られるが、「ブラックボックス」モデルをもたらす解釈性は犠牲になる。
そこで我々は,木組モデルの解釈可能な表現を開発することを目指しており,その振る舞いに関する貴重な洞察を提供する。
まず,対象樹木群集モデルを用いて,その特徴の頻度と重要度を指標として,森林の特徴量の熱マップ表現に基づく階層的可視化ツールを開発する。
次に、ターゲットモデル予測を正確に模倣する単一の最適多変量木を構築するための混合整数線形計画法(milp)を提案する。
目標は、斜め超平面分割に基づく解釈可能なサロゲートモデルを提供することである。
milpモデルは、スプリットのスパース性をさらに引き起こすために、森林における頻度に基づく特徴選択のペナルティを含む。
自然定式化は、『mixed-integer』ソフトウェアの計算性能を向上させるために強化された。
UCIリポジトリのベンチマークデータセット上で、最先端のオフザシェルフソルバを使用して計算経験を実行する。
提案手法は,木組決定関数を近似した浅い解釈可能な木を得るのに有効であることを示す。
関連論文リスト
- Inherently Interpretable Tree Ensemble Learning [7.868733904112288]
浅い決定木をベース学習として使用すると、アンサンブル学習アルゴリズムが本質的に解釈可能であることを示す。
木アンサンブルを固有の解釈可能性を持つ機能的ANOVA表現に変換する解釈アルゴリズムを開発した。
シミュレーションと実世界のデータセットを用いた実験により,提案手法はモデル解釈と予測性能のトレードオフを良くすることを示した。
論文 参考訳（メタデータ） (2024-10-24T18:58:41Z) - A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming [2.1408617023874443]
木アンサンブル法は、教師付き分類と回帰タスクにおいて有効であることが知られている。
我々の研究は、訓練された木アンサンブルから最適化されたルールのリストを抽出することを目的としており、利用者に凝縮された解釈可能なモデルを提供する。
論文 参考訳（メタデータ） (2024-06-30T22:33:47Z) - Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。
我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。
OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
論文 参考訳（メタデータ） (2024-06-12T08:31:34Z) - Forecasting with Hyper-Trees [50.72190208487953]
Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。
対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。
この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
論文 参考訳（メタデータ） (2024-05-13T15:22:15Z) - Feature graphs for interpretable unsupervised tree ensembles: centrality, interaction, and application in disease subtyping [0.24578723416255746]
特徴の選択は、モデルの解釈可能性を高める上で重要な役割を担います。
決定木を集約することで得られる精度は、解釈可能性の犠牲となる。
この研究では、教師なしランダムな森林から特徴グラフを構築するための新しい手法を紹介した。
論文 参考訳（メタデータ） (2024-04-27T12:47:37Z) - ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained
Visual Categorization [56.37520969273242]
細かな視覚分類のための新しいアプローチであるViTreeを紹介する。
ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。
このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
論文 参考訳（メタデータ） (2024-01-30T14:32:25Z) - Explaining random forest prediction through diverse rulesets [0.0]
Local Tree eXtractor (LTreeX)は、与えられたテストインスタンスのフォレスト予測を、いくつかの異なるルールで説明することができる。
提案手法は予測性能の点で他の説明可能な手法よりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2022-03-29T12:54:57Z) - Deep Reinforcement Learning of Graph Matching [63.469961545293756]
ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。
GMのための強化学習ソルバを提案する。
rgmはペアワイズグラフ間のノード対応を求める。
本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
論文 参考訳（メタデータ） (2020-12-16T13:48:48Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳（メタデータ） (2020-07-24T17:06:55Z) - Tree-AMP: Compositional Inference with Tree Approximate Message Passing [23.509275850721778]
Tree-AMPは高次元木構造モデルにおける合成推論のためのピソンパッケージである。
このパッケージは、いくつかの近似メッセージパッシングアルゴリズムを研究するための統一フレームワークを提供する。
論文 参考訳（メタデータ） (2020-04-03T13:51:10Z) - ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。
ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
論文 参考訳（メタデータ） (2020-03-10T14:34:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。