論文の概要: End-to-end Feature Selection Approach for Learning Skinny Trees

• arxiv url: http://arxiv.org/abs/2310.18542v2
• Date: Tue, 3 Sep 2024 07:34:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-04 22:14:48.323206
• Title: End-to-end Feature Selection Approach for Learning Skinny Trees
• Title（参考訳）: スキニーツリー学習のためのエンドツーエンド特徴選択手法
• Authors: Shibal Ibrahim, Kayhan Behdin, Rahul Mazumder,
• Abstract要約: 木アンサンブルにおける特徴選択のための最適化に基づく新しい手法を提案する。 Skinny Treesは、ツリーアンサンブルの機能選択のためのエンドツーエンドツールキットである。
• 参考スコア（独自算出の注目度）: 13.388576838688202
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new optimization-based approach for feature selection in tree ensembles, an important problem in statistics and machine learning. Popular tree ensemble toolkits e.g., Gradient Boosted Trees and Random Forests support feature selection post-training based on feature importance scores, while very popular, they are known to have drawbacks. We propose Skinny Trees: an end-to-end toolkit for feature selection in tree ensembles where we train a tree ensemble while controlling the number of selected features. Our optimization-based approach learns an ensemble of differentiable trees, and simultaneously performs feature selection using a grouped $\ell_0$-regularizer. We use first-order methods for optimization and present convergence guarantees for our approach. We use a dense-to-sparse regularization scheduling scheme that can lead to more expressive and sparser tree ensembles. On 15 synthetic and real-world datasets, Skinny Trees can achieve $1.5\!\times\! -~620~\!\times\!$ feature compression rates, leading up to $10\times$ faster inference over dense trees, without any loss in performance. Skinny Trees lead to superior feature selection than many existing toolkits e.g., in terms of AUC performance for 25\% feature budget, Skinny Trees outperforms LightGBM by $10.2\%$ (up to $37.7\%$), and Random Forests by $3\%$ (up to $12.5\%$).
• Abstract（参考訳）: 本稿では,木組における特徴選択のための新しい最適化手法を提案する。 人気のツリーアンサンブルツールキット(例:Gradient Boosted Trees)やランダムフォレスト(例:ランダムフォレスト)は、特徴重要度スコアに基づいた機能選択をサポートするが、非常に人気があるが、欠点があることが知られている。 木アンサンブルにおける特徴選択のためのエンドツーエンドツールキットであるスキニーツリーを提案し,選択した特徴数を制御しながら木アンサンブルを訓練する。 我々の最適化に基づくアプローチは、微分可能木の集合を学習し、同時にグループ化された$\ell_0$-regularizerを用いて特徴選択を行う。 最適化に一階法を用い,提案手法の収束保証を行う。 より表現豊かでスペーサーな木のアンサンブルに繋がる高密度からスパースな正規化スケジューリング方式を用いる。 15の合成および実世界のデータセットで、Skinny Treesは$1.5\! タイムズ! ～620〜\! タイムズ! パフォーマンスを損なうことなく、高密度木よりも高速な推測が10ドル(約10万円)の圧縮レートで可能になる。 スキニーツリーは25 %の機能予算での AUC のパフォーマンスにおいて、多くの既存のツールキットよりも優れた機能選択をもたらし、スキニーツリーは LightGBM を10.2 %(最大37.7 %)、ランダムフォレストを3 %(最大12.5 %)上回っている。

関連論文リスト

• Joint Optimization of Piecewise Linear Ensembles [11.34717731050474]
  ツリーアンサンブルは多くの予測タスクで最先端のパフォーマンスを達成する。 我々は$textbfJ$oint $textbfO$ptimization of $textbfL$inear $textbfEn$sembles (JOPLEn)を提案する。 JOPLEnは、スパーシティ・プロモーティングや部分空間ノルムを含むいくつかの一般的な罰則を非線形予測に適用することを許している。
  論文  参考訳（メタデータ） (2024-05-01T03:59:06Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
  本稿では,決定木誘導に対するベイズ的アプローチを提案する。 そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-26T23:43:37Z)
• On Computing Optimal Tree Ensembles [7.424944196676223]
  ランダム林や、より一般的には(決定ノブレイクダッシュ-)ツリーアンサンブルは、分類と回帰の方法として広く使われている。 最近のアルゴリズムの進歩は、そのサイズや深さなどの様々な測定に最適な決定木を計算することができる。 2つの新しいアルゴリズムと対応する下位境界を提供する。
  論文  参考訳（メタデータ） (2023-06-07T13:30:43Z)
• ForestPrune: Compact Depth-Controlled Tree Ensembles [7.538482310185135]
  我々は,個々の木から深度層を刈り取ることで,木アンサンブルを後処理する新しいフレームワークであるフォレストプルーを紹介する。 本研究では,フォレストプルーネにおける問題に対する高品質な解を効率的に得るための最適化アルゴリズムを開発した。 実験により、フォレストプルーンは既存の後処理アルゴリズムによって抽出されたモデルより優れたパシモニアスモデルを生成することを示した。
  論文  参考訳（メタデータ） (2022-05-31T22:04:18Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)
• Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
  ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。 離散パラメータの混合整数プログラムを緩和する。 我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2020-10-09T15:11:28Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。