論文の概要: Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives

• arxiv url: http://arxiv.org/abs/2506.20114v1
• Date: Wed, 25 Jun 2025 04:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.598382
• Title: Extracting Interpretable Models from Tree Ensembles: Computational and Statistical Perspectives
• Title（参考訳）: 木アンサンブルから解釈可能なモデルを抽出する:計算的・統計的視点
• Authors: Brian Liu, Rahul Mazumder, Peter Radchenko,
• Abstract要約: 木アンサンブルから決定規則のコンパクトな集合を抽出する推定器を提案する。 我々の推定器の重要な新規性は、抽出されたルールの数と各ルールの相互作用深さを共同で制御する柔軟性である。 我々の推定器は既存のルール抽出アルゴリズムよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 14.726751780239907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tree ensembles are non-parametric methods widely recognized for their accuracy and ability to capture complex interactions. While these models excel at prediction, they are difficult to interpret and may fail to uncover useful relationships in the data. We propose an estimator to extract compact sets of decision rules from tree ensembles. The extracted models are accurate and can be manually examined to reveal relationships between the predictors and the response. A key novelty of our estimator is the flexibility to jointly control the number of rules extracted and the interaction depth of each rule, which improves accuracy. We develop a tailored exact algorithm to efficiently solve optimization problems underlying our estimator and an approximate algorithm for computing regularization paths, sequences of solutions that correspond to varying model sizes. We also establish novel non-asymptotic prediction error bounds for our proposed approach, comparing it to an oracle that chooses the best data-dependent linear combination of the rules in the ensemble subject to the same complexity constraint as our estimator. The bounds illustrate that the large-sample predictive performance of our estimator is on par with that of the oracle. Through experiments, we demonstrate that our estimator outperforms existing algorithms for rule extraction.
• Abstract（参考訳）: 木アンサンブルは、複雑な相互作用を捉える正確さと能力で広く認識されている非パラメトリックな手法である。 これらのモデルは予測において優れているが、解釈が困難であり、データの有用な関係を明らかにするのに失敗する可能性がある。 木アンサンブルから決定規則のコンパクトな集合を抽出する推定器を提案する。 抽出されたモデルは正確であり、手動で予測器と応答の関係を明らかにすることができる。 我々の推定器の重要な新規性は、抽出されたルールの数と各ルールの相互作用深さを共同で制御し、精度を向上させることである。 我々は,推定器の根底にある最適化問題を効率的に解くためのアルゴリズムと,モデルサイズに応じた解列の正規化経路を近似的に計算するアルゴリズムを開発する。 また,提案手法の非漸近予測誤差境界を,推定器と同じ複雑性制約を受けるアンサンブルにおける規則の最良のデータ依存線形結合を選択するオラクルと比較した。 境界は、我々の推定器の大きなサンプル予測性能がオラクルのそれと同程度であることを示している。 実験により,我々の推定器は既存のルール抽出アルゴリズムよりも優れていることを示した。

関連論文リスト

• Revisiting Randomization in Greedy Model Search [16.15551706774035]
  特徴サブサンプリングによってランダム化される欲求前方選択推定器のアンサンブルを提案し,解析する。 計算効率を大幅に向上させる動的プログラミングに基づく新しい実装を設計する。 ランダム化アンサンブルが縮小と類似しているという一般的な信念とは対照的に、トレーニングエラーと自由度を同時に低減できることが示される。
  論文  参考訳（メタデータ） (2025-06-18T17:13:53Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Ranking and Combining Latent Structured Predictive Scores without Labeled Data [2.5064967708371553]
  本稿では,新しい教師なしアンサンブル学習モデル(SUEL)を提案する。 連続的な予測スコアを持つ予測器のセット間の依存関係を利用して、ラベル付きデータなしで予測器をランク付けし、それらをアンサンブルされたスコアに重み付けする。 提案手法の有効性は、シミュレーション研究とリスク遺伝子発見の現実的応用の両方を通じて厳密に評価されている。
  論文  参考訳（メタデータ） (2024-08-14T20:14:42Z)
• A Unified Approach to Extract Interpretable Rules from Tree Ensembles via Integer Programming [2.1408617023874443]
  ツリーアンサンブルは非常に人気のある機械学習モデルであり、教師付き分類と回帰タスクの有効性で知られている。 我々の研究は、訓練された木アンサンブルから最適化されたルールのリストを抽出することを目的としており、ユーザーは完全なモデルの予測力をほとんど保持する凝縮された解釈可能なモデルを提供する。 我々の広範な計算実験は,木アンサンブルに対する予測性能と忠実度の観点から,本手法が他のルール抽出法と競合することを示す統計的に有意な証拠を提供する。
  論文  参考訳（メタデータ） (2024-06-30T22:33:47Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Semi-Supervised Quantile Estimation: Robust and Efficient Inference in High Dimensional Settings [0.5735035463793009]
  2つの利用可能なデータセットを特徴とする半教師付き環境での量子推定を考察する。 本稿では,2つのデータセットに基づいて,応答量子化(s)に対する半教師付き推定器群を提案する。
  論文  参考訳（メタデータ） (2022-01-25T10:02:23Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。