論文の概要: TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees

• arxiv url: http://arxiv.org/abs/2602.11623v1
• Date: Thu, 12 Feb 2026 06:17:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.667048
• Title: TreeGrad-Ranker: Feature Ranking via $O(L)$-Time Gradients for Decision Trees
• Title（参考訳）: TreeGrad-Ranker:決定木のための$O(L)$-Time Gradientsによる特徴ランク付け
• Authors: Weida Li, Yaoliang Yu, Bryan Kian Hsiang Low,
• Abstract要約: 確率値は、決定木の局所的な予測値を説明する特徴のランク付けに使用される。 TreeGradは、共同目的の多重線型拡張の勾配を$O(L)$時間で計算する。 TreeGrad-Rankerは、機能ランキングを生成するために共同目標を最適化しながら、勾配を集約する。 TreeGrad-Shapは、積分パラメータを持つベータシェープ値を計算するための数値的に安定なアルゴリズムである。
• 参考スコア（独自算出の注目度）: 73.0940890296463
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We revisit the use of probabilistic values, which include the well-known Shapley and Banzhaf values, to rank features for explaining the local predicted values of decision trees. The quality of feature rankings is typically assessed with the insertion and deletion metrics. Empirically, we observe that co-optimizing these two metrics is closely related to a joint optimization that selects a subset of features to maximize the local predicted value while minimizing it for the complement. However, we theoretically show that probabilistic values are generally unreliable for solving this joint optimization. Therefore, we explore deriving feature rankings by directly optimizing the joint objective. As the backbone, we propose TreeGrad, which computes the gradients of the multilinear extension of the joint objective in $O(L)$ time for decision trees with $L$ leaves; these gradients include weighted Banzhaf values. Building upon TreeGrad, we introduce TreeGrad-Ranker, which aggregates the gradients while optimizing the joint objective to produce feature rankings, and TreeGrad-Shap, a numerically stable algorithm for computing Beta Shapley values with integral parameters. In particular, the feature scores computed by TreeGrad-Ranker satisfy all the axioms uniquely characterizing probabilistic values, except for linearity, which itself leads to the established unreliability. Empirically, we demonstrate that the numerical error of Linear TreeShap can be up to $10^{15}$ times larger than that of TreeGrad-Shap when computing the Shapley value. As a by-product, we also develop TreeProb, which generalizes Linear TreeShap to support all probabilistic values. In our experiments, TreeGrad-Ranker performs significantly better on both insertion and deletion metrics. Our code is available at https://github.com/watml/TreeGrad.
• Abstract（参考訳）: 我々は、よく知られたShapley値やBanzhaf値を含む確率的値を用いて、決定木の局所的な予測値を説明する特徴をランク付けする。 機能ランキングの品質は通常、挿入と削除のメトリクスで評価されます。 実験により,これら2つの指標の同時最適化は,特徴のサブセットを選択して局所的な予測値を最大化し,補数に対して最小化する共同最適化と密接に関連していることがわかった。 しかし、理論的には、この共同最適化を解くには確率的値が一般に信頼できないことが示される。 そこで我々は,共同目標を直接最適化することで特徴ランクの導出を検討する。 バックボーンとしてTreeGradを提案し、これは結合対象の多重線型拡大の勾配を$O(L)$時間で計算し、決定木に$L$の葉を持つ。 TreeGrad上に構築されたTreeGrad-Rankerは、機能ランキングを生成するために共同目標を最適化しながら勾配を集約し、TreeGrad-Shapは、積分パラメータでベータシェープ値を計算する数値的に安定なアルゴリズムである。 特に、TreeGrad-Ranker が計算した特徴スコアは、線形性を除いて確率的値を一意に特徴づける全ての公理を満たす。 実験により,線形ツリーサップの数値誤差は,シェープリー値を計算する場合のツリーグラッドサップの数値誤差の最大10^{15}$倍になることを示した。 副産物として、すべての確率値をサポートするためにLinear TreeShapを一般化したTreeProbも開発しています。 我々の実験では、TreeGrad-Rankerは挿入と削除の両方のメトリクスで大幅に性能が向上した。 私たちのコードはhttps://github.com/watml/TreeGrad.comで公開されています。

関連論文リスト

• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• End-to-end Feature Selection Approach for Learning Skinny Trees [13.388576838688202]
  木アンサンブルにおける特徴選択のための最適化に基づく新しい手法を提案する。 Skinny Treesは、ツリーアンサンブルの機能選択のためのエンドツーエンドツールキットである。
  論文  参考訳（メタデータ） (2023-10-28T00:15:10Z)
• On Computing Optimal Tree Ensembles [7.424944196676223]
  ランダム林や、より一般的には(決定ノブレイクダッシュ-)ツリーアンサンブルは、分類と回帰の方法として広く使われている。 最近のアルゴリズムの進歩は、そのサイズや深さなどの様々な測定に最適な決定木を計算することができる。 2つの新しいアルゴリズムと対応する下位境界を提供する。
  論文  参考訳（メタデータ） (2023-06-07T13:30:43Z)
• Policy Gradient with Tree Expansion [72.10002936187388]
  政策勾配法は、大きなばらつきと高いサンプルの複雑さを持つことで有名である。 我々は、計画を採用するソフトマックスの一般化であるSoftTreeMaxを紹介します。 我々は、SoftTreeMaxが勾配のばらつきを3桁に減らすことを示す。
  論文  参考訳（メタデータ） (2023-01-30T19:03:14Z)
• Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization [0.0]
  本稿では,プレデコン(PreDecomp)を提案する。プレデコン(PreDecomp,PreDecomp,PreDecomp)は,正規化を$ell$で訓練した場合に,増木に対する新規な個別化特徴属性である。 また、各ツリーのアウトサンプルデータに個々の特徴属性とラベルの内積で定義される、偏りのないグローバルな特徴属性のファミリーであるTreeInnerを提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:56:22Z)
• SoftTreeMax: Policy Gradient with Tree Search [72.9513807133171]
  我々は、ツリー検索をポリシー勾配に統合する最初のアプローチであるSoftTreeMaxを紹介します。 Atariでは、SoftTreeMaxが分散PPOと比較して、実行時のパフォーマンスを最大5倍向上させる。
  論文  参考訳（メタデータ） (2022-09-28T09:55:47Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。