論文の概要: Fast Interpretable Greedy-Tree Sums (FIGS)

• arxiv url: http://arxiv.org/abs/2201.11931v1
• Date: Fri, 28 Jan 2022 04:50:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 05:31:36.693799
• Title: Fast Interpretable Greedy-Tree Sums (FIGS)
• Title（参考訳）: 高速解釈可能なグリーディツリー和(fig)
• Authors: Yan Shuo Tan, Chandan Singh, Keyan Nasseri, Abhineet Agarwal, Bin Yu
• Abstract要約: Fast Interpretable Greedy-Tree Sums (FIGS) は、簡潔なルールベースのモデルに適合するアルゴリズムである。 FIGSは繰り返し分割を回避でき、多くの場合、適合した決定木よりも簡潔な決定ルールを提供する。
• 参考スコア（独自算出の注目度）: 10.289846887751079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern machine learning has achieved impressive prediction performance, but often sacrifices interpretability, a critical consideration in many problems. Here, we propose Fast Interpretable Greedy-Tree Sums (FIGS), an algorithm for fitting concise rule-based models. Specifically, FIGS generalizes the CART algorithm to simultaneously grow a flexible number of trees in a summation. The total number of splits across all the trees can be restricted by a pre-specified threshold, thereby keeping both the size and number of its trees under control. When both are small, the fitted tree-sum can be easily visualized and written out by hand, making it highly interpretable. A partially oracle theoretical result hints at the potential for FIGS to overcome a key weakness of single-tree models by disentangling additive components of generative additive models, thereby reducing redundancy from repeated splits on the same feature. Furthermore, given oracle access to optimal tree structures, we obtain L2 generalization bounds for such generative models in the case of C1 component functions, matching known minimax rates in some cases. Extensive experiments across a wide array of real-world datasets show that FIGS achieves state-of-the-art prediction performance (among all popular rule-based methods) when restricted to just a few splits (e.g. less than 20). We find empirically that FIGS is able to avoid repeated splits, and often provides more concise decision rules than fitted decision trees, without sacrificing predictive performance. All code and models are released in a full-fledged package on Github \url{https://github.com/csinva/imodels}.
• Abstract（参考訳）: 現代の機械学習は印象的な予測性能を達成しているが、多くの問題において重要な考慮事項である解釈性を犠牲にすることが多い。 本稿では,簡潔なルールモデルに適合するアルゴリズムであるFast Interpretable Greedy-Tree Sums (FIGS)を提案する。 具体的には、FIGSはCARTアルゴリズムを一般化し、累積で柔軟な数の木を同時に成長させる。 すべての木にまたがる分割の総数は予め定められたしきい値によって制限され、その木のサイズと数の両方が制御される。 両者が小さい場合は、簡単に視覚化して手書きで書けるので、高い解釈が可能である。 部分的にオラクルの理論的結果は、生成的加法モデルの付加成分を分離することで、figがシングルツリーモデルの重大な弱点を克服し、同じ特徴の繰り返し分裂による冗長性を低減できる可能性を示唆している。 さらに、最適木構造へのオラクルアクセスが与えられた場合、C1成分関数の場合、そのような生成モデルに対してL2一般化境界を得る。 さまざまな実世界のデータセットにわたる大規模な実験は、FIGSがほんの数分割(例:20未満)に制限された場合、最先端の予測性能(一般的なルールベースのメソッドすべて)を達成することを示している。 FIGSは繰り返し分割を回避でき、しばしば予測性能を犠牲にすることなく、適合した決定木よりも簡潔な決定ルールを提供する。 すべてのコードとモデルはGithub \url{https://github.com/csinva/imodels} のフルパッケージでリリースされる。

関連論文リスト

• Inherently Interpretable Tree Ensemble Learning [7.868733904112288]
  浅い決定木をベース学習として使用すると、アンサンブル学習アルゴリズムが本質的に解釈可能であることを示す。 木アンサンブルを固有の解釈可能性を持つ機能的ANOVA表現に変換する解釈アルゴリズムを開発した。 シミュレーションと実世界のデータセットを用いた実験により,提案手法はモデル解釈と予測性能のトレードオフを良くすることを示した。
  論文  参考訳（メタデータ） (2024-10-24T18:58:41Z)
• Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers [68.76846801719095]
  統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。 森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T15:36:43Z)
• Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
  我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。 提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
  論文  参考訳（メタデータ） (2023-02-15T10:43:31Z)
• Explainable Sparse Knowledge Graph Completion via High-order Graph Reasoning Network [111.67744771462873]
  本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。 高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。 情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
  論文  参考訳（メタデータ） (2022-07-14T10:16:56Z)
• Group Probability-Weighted Tree Sums for Interpretable Modeling of Heterogeneous Data [9.99624617629557]
  Group Probability-Weighted Tree Sums (G-FIGS) は、重要な臨床データセット上で最先端の予測性能を達成する。 G-FIGSは頸椎損傷をCARTで最大10%、FIGS単独で最大3%特定する特異性を高める。 すべてのコード、データ、モデルはGithubで公開されている。
  論文  参考訳（メタデータ） (2022-05-30T14:27:19Z)
• Optimal Decision Diagrams for Classification [68.72078059880018]
  数学的プログラミングの観点から最適決定図の学習について検討する。 本稿では,新しい混合整数線形プログラミングモデルを提案する。 このモデルは、公正性、同義性、安定性の概念に対してどのように容易に拡張できるかを示す。
  論文  参考訳（メタデータ） (2022-05-28T18:31:23Z)
• BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery [97.79015388276483]
  構造方程式モデル(SEM)は、有向非巡回グラフ(DAG)を介して表される因果関係を推論する効果的な枠組みである。 近年の進歩により、観測データからDAGの有効最大点推定が可能となった。 線形ガウス SEM を特徴付ける DAG 上の分布を推定するための変分フレームワークである BCD Nets を提案する。
  論文  参考訳（メタデータ） (2021-12-06T03:35:21Z)
• Generalizing Graph Neural Networks on Out-Of-Distribution Graphs [51.33152272781324]
  トレーニンググラフとテストグラフの分散シフトを考慮せずにグラフニューラルネットワーク(GNN)を提案する。 このような環境では、GNNは、たとえ素早い相関であるとしても、予測のためのトレーニングセットに存在する微妙な統計的相関を利用する傾向がある。 本稿では,スプリアス相関の影響を排除するため,StableGNNと呼ばれる一般的な因果表現フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-11-20T18:57:18Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Treeging [0.0]
  木組みは回帰木の柔軟な平均構造と、アンサンブル予測アルゴリズムのベース学習者へのクリグの共分散に基づく予測戦略を組み合わせる。 本研究では,空間及び時空シミュレーションシナリオの網羅的かつ広範囲な電池を横断するツリーングの予測精度について検討した。
  論文  参考訳（メタデータ） (2021-10-03T17:48:18Z)
• Learning compositional structures for semantic graph parsing [81.41592892863979]
  本稿では、AM依存性解析をニューラル潜在変数モデルで直接トレーニングする方法を示す。 本モデルでは,いくつかの言語現象を独自に把握し,教師あり学習に匹敵する精度を達成している。
  論文  参考訳（メタデータ） (2021-06-08T14:20:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。