論文の概要: Fast Interpretable Greedy-Tree Sums
- arxiv url: http://arxiv.org/abs/2201.11931v3
- Date: Sat, 8 Jul 2023 16:18:03 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 19:45:46.985006
- Title: Fast Interpretable Greedy-Tree Sums
- Title（参考訳）: 高速解釈可能なGreedy-Tree Sums
- Authors: Yan Shuo Tan, Chandan Singh, Keyan Nasseri, Abhineet Agarwal, James
Duncan, Omer Ronen, Matthew Epland, Aaron Kornblith, Bin Yu
- Abstract要約: Fast Interpretable Greedy-Tree Sums (FIGS) は、CARTアルゴリズムを一般化し、要約において柔軟な数の木を成長させる。
G-FIGSは、ドメイン知識を反映し、感度や解釈性を犠牲にすることなく(CARTよりも20%も向上した)特異性を享受するCDIを導出する。
Bagging-FIGSは、現実世界のデータセット上でランダムなフォレストやXGBoostと競合するパフォーマンスを享受している。
- 参考スコア（独自算出の注目度）: 8.268938983372452
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern machine learning has achieved impressive prediction performance, but
often sacrifices interpretability, a critical consideration in high-stakes
domains such as medicine. In such settings, practitioners often use highly
interpretable decision tree models, but these suffer from inductive bias
against additive structure. To overcome this bias, we propose Fast
Interpretable Greedy-Tree Sums (FIGS), which generalizes the CART algorithm to
simultaneously grow a flexible number of trees in summation. By combining
logical rules with addition, FIGS is able to adapt to additive structure while
remaining highly interpretable. Extensive experiments on real-world datasets
show that FIGS achieves state-of-the-art prediction performance. To demonstrate
the usefulness of FIGS in high-stakes domains, we adapt FIGS to learn clinical
decision instruments (CDIs), which are tools for guiding clinical
decision-making. Specifically, we introduce a variant of FIGS known as G-FIGS
that accounts for the heterogeneity in medical data. G-FIGS derives CDIs that
reflect domain knowledge and enjoy improved specificity (by up to 20% over
CART) without sacrificing sensitivity or interpretability. To provide further
insight into FIGS, we prove that FIGS learns components of additive models, a
property we refer to as disentanglement. Further, we show (under oracle
conditions) that unconstrained tree-sum models leverage disentanglement to
generalize more efficiently than single decision tree models when fitted to
additive regression functions. Finally, to avoid overfitting with an
unconstrained number of splits, we develop Bagging-FIGS, an ensemble version of
FIGS that borrows the variance reduction techniques of random forests.
Bagging-FIGS enjoys competitive performance with random forests and XGBoost on
real-world datasets.
- Abstract（参考訳）: 現代の機械学習は印象的な予測性能を達成したが、しばしば解釈可能性の犠牲となる。
このような設定では、実践者はしばしば高度に解釈可能な決定木モデルを使用するが、これらは加法構造に対する帰納的バイアスに悩まされる。
このバイアスを克服するために,CARTアルゴリズムを一般化したFast Interpretable Greedy-Tree Sums (FIGS)を提案する。
論理規則と加算を組み合わせることで、FIGSは高度に解釈可能なまま加法構造に適応することができる。
実世界のデータセットに関する広範囲な実験は、figが最先端の予測性能を達成していることを示している。
高精細領域におけるFIGSの有用性を示すため,臨床意思決定を導くツールである臨床意思決定器(CDI)の学習にFIGSを適用した。
具体的には、医用データの不均一性を考慮したG-FIGSと呼ばれるFIGSの変種を紹介する。
G-FIGSは、ドメイン知識を反映し、感度や解釈性を犠牲にすることなく(CARTよりも20%も向上した)特異性を享受するCDIを導出する。
figに関するさらなる知見を提供するため、figは加法モデルの構成要素を学習できることを証明します。
さらに、(オラクル条件下では)非拘束ツリーサムモデルは、加法回帰関数に適合した場合に単一の決定ツリーモデルよりも効率的に一般化するために、ゆがみを利用することを示す。
最後に、制約のない分割数による過度な適合を避けるため、ランダム森林の分散低減技術を借りてFIGSのアンサンブル版であるBagging-FIGSを開発した。
Bagging-FIGSは、現実世界のデータセット上でランダムなフォレストやXGBoostと競合するパフォーマンスを享受している。
関連論文リスト
- Inherently Interpretable Tree Ensemble Learning [7.868733904112288]
浅い決定木をベース学習として使用すると、アンサンブル学習アルゴリズムが本質的に解釈可能であることを示す。
木アンサンブルを固有の解釈可能性を持つ機能的ANOVA表現に変換する解釈アルゴリズムを開発した。
シミュレーションと実世界のデータセットを用いた実験により,提案手法はモデル解釈と予測性能のトレードオフを良くすることを示した。
論文 参考訳（メタデータ） (2024-10-24T18:58:41Z) - Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers [68.76846801719095]
統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
論文 参考訳（メタデータ） (2024-02-02T15:36:43Z) - Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。
提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
論文 参考訳（メタデータ） (2023-02-15T10:43:31Z) - Explainable Sparse Knowledge Graph Completion via High-order Graph
Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。
高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。
情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文 参考訳（メタデータ） (2022-07-14T10:16:56Z) - Group Probability-Weighted Tree Sums for Interpretable Modeling of
Heterogeneous Data [9.99624617629557]
Group Probability-Weighted Tree Sums (G-FIGS) は、重要な臨床データセット上で最先端の予測性能を達成する。
G-FIGSは頸椎損傷をCARTで最大10%、FIGS単独で最大3%特定する特異性を高める。
すべてのコード、データ、モデルはGithubで公開されている。
論文 参考訳（メタデータ） (2022-05-30T14:27:19Z) - Optimal Decision Diagrams for Classification [68.72078059880018]
数学的プログラミングの観点から最適決定図の学習について検討する。
本稿では,新しい混合整数線形プログラミングモデルを提案する。
このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
論文 参考訳（メタデータ） (2022-05-28T18:31:23Z) - BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。
近年の進歩により、観測データからDAGの有効最大点推定が可能となった。
線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
論文 参考訳（メタデータ） (2021-12-06T03:35:21Z) - Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。
このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。
本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-20T18:57:18Z) - A cautionary tale on fitting decision trees to data from additive
models: generalization lower bounds [9.546094657606178]
本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。
これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。
スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
論文 参考訳（メタデータ） (2021-10-18T21:22:40Z) - Treeging [0.0]
木組みは回帰木の柔軟な平均構造と、アンサンブル予測アルゴリズムのベース学習者へのクリグの共分散に基づく予測戦略を組み合わせる。
本研究では,空間及び時空シミュレーションシナリオの網羅的かつ広範囲な電池を横断するツリーングの予測精度について検討した。
論文 参考訳（メタデータ） (2021-10-03T17:48:18Z) - Learning compositional structures for semantic graph parsing [81.41592892863979]
本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。
本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
論文 参考訳（メタデータ） (2021-06-08T14:20:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。