論文の概要: Inherently Interpretable Tree Ensemble Learning

• arxiv url: http://arxiv.org/abs/2410.19098v1
• Date: Thu, 24 Oct 2024 18:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:37:52.019147
• Title: Inherently Interpretable Tree Ensemble Learning
• Title（参考訳）: 遺伝的に解釈可能なツリーアンサンブル学習
• Authors: Zebin Yang, Agus Sudjianto, Xiaoming Li, Aijun Zhang,
• Abstract要約: 浅い決定木をベース学習として使用すると、アンサンブル学習アルゴリズムが本質的に解釈可能であることを示す。 木アンサンブルを固有の解釈可能性を持つ機能的ANOVA表現に変換する解釈アルゴリズムを開発した。 シミュレーションと実世界のデータセットを用いた実験により,提案手法はモデル解釈と予測性能のトレードオフを良くすることを示した。
• 参考スコア（独自算出の注目度）: 7.868733904112288
• License:
• Abstract: Tree ensemble models like random forests and gradient boosting machines are widely used in machine learning due to their excellent predictive performance. However, a high-performance ensemble consisting of a large number of decision trees lacks sufficient transparency and explainability. In this paper, we demonstrate that when shallow decision trees are used as base learners, the ensemble learning algorithms can not only become inherently interpretable subject to an equivalent representation as the generalized additive models but also sometimes lead to better generalization performance. First, an interpretation algorithm is developed that converts the tree ensemble into the functional ANOVA representation with inherent interpretability. Second, two strategies are proposed to further enhance the model interpretability, i.e., by adding constraints in the model training stage and post-hoc effect pruning. Experiments on simulations and real-world datasets show that our proposed methods offer a better trade-off between model interpretation and predictive performance, compared with its counterpart benchmarks.
• Abstract（参考訳）: ランダムフォレストや勾配押し上げマシンのようなツリーアンサンブルモデルは、予測性能の優れた機械学習で広く利用されている。 しかし、多数の決定木からなる高性能アンサンブルは、十分な透明性と説明性に欠ける。 本稿では,浅部決定木をベースラーナーとして使用する場合,アンサンブル学習アルゴリズムは,一般化加法モデルと同等の表現対象として本質的に解釈可能であるだけでなく,時として一般化性能の向上につながることを実証する。 まず,木アンサンブルを固有の解釈可能性を持つ機能的ANOVA表現に変換する解釈アルゴリズムを開発した。 第2に,モデル学習段階における制約やポストホック効果プルーニングを付加することにより,モデル解釈可能性をさらに向上する2つの戦略が提案されている。 シミュレーションと実世界のデータセットの実験により、提案手法はモデル解釈と予測性能のトレードオフを、比較したベンチマークと比較した場合より優れていることを示した。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Modern Neighborhood Components Analysis: A Deep Tabular Baseline Two Decades Later [59.88557193062348]
  我々は、インスタンス間のセマンティックな類似性をキャプチャする線形射影を学習するために設計された古典的近傍成分分析(NCA)を再考する。 学習目的の調整や深層学習アーキテクチャの統合といった微調整は,NAAの性能を著しく向上させることがわかった。 また,提案したModernNCAの効率性と予測精度を向上する,近隣のサンプリング戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
  我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。 提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
  論文  参考訳（メタデータ） (2023-02-15T10:43:31Z)
• Concept-based Explanations using Non-negative Concept Activation Vectors and Decision Tree for CNN Models [4.452019519213712]
  本稿では、概念に基づく説明書から抽出した概念に基づいて決定木を訓練することで、畳み込みニューラルネットワーク(CNN)モデルの解釈可能性を高めることができるかどうかを評価する。
  論文  参考訳（メタデータ） (2022-11-19T21:42:55Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Sparse MoEs meet Efficient Ensembles [49.313497379189315]
  このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
  論文  参考訳（メタデータ） (2021-10-07T11:58:35Z)
• Improving Aspect-based Sentiment Analysis with Gated Graph Convolutional Networks and Syntax-based Regulation [89.38054401427173]
  Aspect-based Sentiment Analysis (ABSA) は、特定の側面に向けて文の感情極性を予測する。 依存関係ツリーは、ABSAの最先端のパフォーマンスを生成するために、ディープラーニングモデルに統合することができる。 本稿では,この2つの課題を克服するために,グラフに基づく新しいディープラーニングモデルを提案する。
  論文  参考訳（メタデータ） (2020-10-26T07:36:24Z)
• Surrogate Locally-Interpretable Models with Supervised Machine Learning Algorithms [8.949704905866888]
  近年,従来の統計的手法よりも予測性能が優れているため,機械学習アルゴリズムが普及している。 主な焦点は解釈可能性であり、結果として得られるサロゲートモデルは、合理的に優れた予測性能を持つ。
  論文  参考訳（メタデータ） (2020-07-28T23:46:16Z)
• Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach [78.77265671634454]
  我々はマルチタスクの目的、すなわち、モデルが単語を同時に予測し、また「シンタクティック距離」と呼ばれる形態で真実解析木を解析する。 Penn Treebank と Chinese Treebank のデータセットによる実験結果から,地上の真理解析木を追加の訓練信号として提供すると,そのモデルはより低いパープレキシティを実現し,より良い品質で木を誘導できることが示された。
  論文  参考訳（メタデータ） (2020-05-12T15:35:00Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)
• Interpretable MTL from Heterogeneous Domains using Boosted Tree [8.095372074268685]
  マルチタスク学習(MTL)は,複数のタスクの一般化性能の向上を目的としている。 本稿では,増木理論に倣って,二段階法を提案する。 ベンチマークと実世界のデータセットによる実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2020-03-16T08:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。