論文の概要: Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree
- arxiv url: http://arxiv.org/abs/2302.07580v1
- Date: Wed, 15 Feb 2023 10:43:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-20 17:02:04.216452
- Title: Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree
- Title(参考訳): 解釈可能性のためのアンボックス木アンサンブル:階層的可視化ツールと多変量最適再構築木
- Authors: Giulia Di Teodoro, Marta Monaci and Laura Palagi
- Abstract要約: 我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。
提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The interpretability of models has become a crucial issue in Machine Learning
because of algorithmic decisions' growing impact on real-world applications.
Tree ensemble methods, such as Random Forests or XgBoost, are powerful learning
tools for classification tasks. However, while combining multiple trees may
provide higher prediction quality than a single one, it sacrifices the
interpretability property resulting in "black-box" models. In light of this, we
aim to develop an interpretable representation of a tree-ensemble model that
can provide valuable insights into its behavior. First, given a target
tree-ensemble model, we develop a hierarchical visualization tool based on a
heatmap representation of the forest's feature use, considering the frequency
of a feature and the level at which it is selected as an indicator of
importance. Next, we propose a mixed-integer linear programming (MILP)
formulation for constructing a single optimal multivariate tree that accurately
mimics the target model predictions. The goal is to provide an interpretable
surrogate model based on oblique hyperplane splits, which uses only the most
relevant features according to the defined forest's importance indicators. The
MILP model includes a penalty on feature selection based on their frequency in
the forest to further induce sparsity of the splits. The natural formulation
has been strengthened to improve the computational performance of mixed-integer
software. Computational experience is carried out on benchmark datasets from
the UCI repository using a state-of-the-art off-the-shelf solver. Results show
that the proposed model is effective in yielding a shallow interpretable tree
approximating the tree-ensemble decision function.
- Abstract(参考訳): アルゴリズムによる決定が現実世界のアプリケーションに与える影響が増しているため、モデルの解釈性は機械学習において重要な問題となっている。
Random ForestsやXgBoostのようなツリーアンサンブル手法は、分類タスクのための強力な学習ツールである。
しかし、複数の木を組み合わせることで、単一の木よりも高い予測品質が得られるが、「ブラックボックス」モデルをもたらす解釈性は犠牲になる。
そこで我々は,木組モデルの解釈可能な表現を開発することを目指しており,その振る舞いに関する貴重な洞察を提供する。
まず,対象樹木群集モデルを用いて,その特徴の頻度と重要度を指標として,森林の特徴量の熱マップ表現に基づく階層的可視化ツールを開発する。
次に、ターゲットモデル予測を正確に模倣する単一の最適多変量木を構築するための混合整数線形計画法(milp)を提案する。
目標は、斜め超平面分割に基づく解釈可能なサロゲートモデルを提供することである。
milpモデルは、スプリットのスパース性をさらに引き起こすために、森林における頻度に基づく特徴選択のペナルティを含む。
自然定式化が強化され,混合インテガーソフトウェアの計算性能が向上した。
UCIリポジトリのベンチマークデータセット上で、最先端のオフザシェルフソルバを使用して計算経験を実行する。
提案手法は,木組決定関数を近似した浅い解釈可能な木を得るのに有効であることを示す。
関連論文リスト
- ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained
Visual Categorization [56.37520969273242]
細かな視覚分類のための新しいアプローチであるViTreeを紹介する。
ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。
このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
論文 参考訳(メタデータ) (2024-01-30T14:32:25Z) - Beyond TreeSHAP: Efficient Computation of Any-Order Shapley Interactions
for Tree Ensembles [6.664930499708017]
シェープリー値(Shapley value, SV)は、予測の付加的特徴属性を定量化するための説明可能な人工知能(XAI)研究における概念である。
TreeSHAP-IQは木モデル予測のための任意の順序加法シャプリー相互作用を効率的に計算する手法である。
論文 参考訳(メタデータ) (2024-01-22T16:08:41Z) - Grouping Shapley Value Feature Importances of Random Forests for
explainable Yield Prediction [0.8543936047647136]
本稿では,特徴群に対して直接計算されたShapley値の概念を説明し,木構造上で効率的に計算するアルゴリズムを提案する。
我々は、グローバルな理解のために多くのローカルな説明を組み合わせてSwarmプロットを設計するための青写真を提供する。
論文 参考訳(メタデータ) (2023-04-14T13:03:33Z) - DeforestVis: Behavior Analysis of Machine Learning Models with Surrogate
Decision Stumps [49.97564931094598]
複雑なMLモデルの振る舞いをユーザフレンドリに要約するビジュアル分析ツールであるDeforestVisを提案する。
DeforestVisは、より多くの切り株をインクリメンタルに生成することで、複雑さとフィデリティのトレードオフを探索するのに役立つ。
DeforestVisの適用性と有用性について,2つのユースケースと,データアナリストとモデル開発者とのエキスパートインタビューで紹介する。
論文 参考訳(メタデータ) (2023-03-31T21:17:15Z) - On marginal feature attributions of tree-based models [0.11999555634662631]
辺縁的なシャプリー、オーウェンまたはバンジャフの値など、辺縁的な期待に基づく局所的な特徴属性を用いることができる。
パス依存(path-dependent)のTreeSHAPが特徴のランク付けを行うのと全く同じ関数を計算する2つの(統計的に類似した)決定木を提示する。
我々は、CataBoostモデルの余剰Shapley(およびBanzhafとOwen)値についてのみ、複雑さを改善し、内部モデルパラメータの観点からのみ、明示的な式を導出するために対称性を利用する。
論文 参考訳(メタデータ) (2023-02-16T17:18:03Z) - Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。
木の根から葉までの経路は、個々の将来の軌跡を表す。
ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
論文 参考訳(メタデータ) (2022-05-26T12:18:44Z) - Explaining random forest prediction through diverse rulesets [0.0]
Local Tree eXtractor (LTreeX)は、与えられたテストインスタンスのフォレスト予測を、いくつかの異なるルールで説明することができる。
提案手法は予測性能の点で他の説明可能な手法よりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-03-29T12:54:57Z) - Deep Reinforcement Learning of Graph Matching [63.469961545293756]
ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。
GMのための強化学習ソルバを提案する。
rgmはペアワイズグラフ間のノード対応を求める。
本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
論文 参考訳(メタデータ) (2020-12-16T13:48:48Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - Tree-AMP: Compositional Inference with Tree Approximate Message Passing [23.509275850721778]
Tree-AMPは高次元木構造モデルにおける合成推論のためのピソンパッケージである。
このパッケージは、いくつかの近似メッセージパッシングアルゴリズムを研究するための統一フレームワークを提供する。
論文 参考訳(メタデータ) (2020-04-03T13:51:10Z) - ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。
ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
論文 参考訳(メタデータ) (2020-03-10T14:34:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。