Fugu-MT 論文翻訳(概要): End-to-end Feature Selection Approach for Learning Skinny Trees

論文の概要: End-to-end Feature Selection Approach for Learning Skinny Trees

arxiv url: http://arxiv.org/abs/2310.18542v2
Date: Tue, 3 Sep 2024 07:34:54 GMT
ステータス: 処理完了
システム内更新日: 2024-09-04 22:14:48.323206
Title: End-to-end Feature Selection Approach for Learning Skinny Trees
Title（参考訳）: スキニーツリー学習のためのエンドツーエンド特徴選択手法
Authors: Shibal Ibrahim, Kayhan Behdin, Rahul Mazumder,
Abstract要約: 木アンサンブルにおける特徴選択のための最適化に基づく新しい手法を提案する。 Skinny Treesは、ツリーアンサンブルの機能選択のためのエンドツーエンドツールキットである。
参考スコア（独自算出の注目度）: 13.388576838688202
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We propose a new optimization-based approach for feature selection in tree ensembles, an important problem in statistics and machine learning. Popular tree ensemble toolkits e.g., Gradient Boosted Trees and Random Forests support feature selection post-training based on feature importance scores, while very popular, they are known to have drawbacks. We propose Skinny Trees: an end-to-end toolkit for feature selection in tree ensembles where we train a tree ensemble while controlling the number of selected features. Our optimization-based approach learns an ensemble of differentiable trees, and simultaneously performs feature selection using a grouped $\ell_0$-regularizer. We use first-order methods for optimization and present convergence guarantees for our approach. We use a dense-to-sparse regularization scheduling scheme that can lead to more expressive and sparser tree ensembles. On 15 synthetic and real-world datasets, Skinny Trees can achieve $1.5\!\times\! -~620~\!\times\!$ feature compression rates, leading up to $10\times$ faster inference over dense trees, without any loss in performance. Skinny Trees lead to superior feature selection than many existing toolkits e.g., in terms of AUC performance for 25\% feature budget, Skinny Trees outperforms LightGBM by $10.2\%$ (up to $37.7\%$), and Random Forests by $3\%$ (up to $12.5\%$).
Abstract（参考訳）: 本稿では,木組における特徴選択のための新しい最適化手法を提案する。人気のツリーアンサンブルツールキット(例:Gradient Boosted Trees)やランダムフォレスト(例:ランダムフォレスト)は、特徴重要度スコアに基づいた機能選択をサポートするが、非常に人気があるが、欠点があることが知られている。木アンサンブルにおける特徴選択のためのエンドツーエンドツールキットであるスキニーツリーを提案し,選択した特徴数を制御しながら木アンサンブルを訓練する。我々の最適化に基づくアプローチは、微分可能木の集合を学習し、同時にグループ化された$\ell_0$-regularizerを用いて特徴選択を行う。最適化に一階法を用い,提案手法の収束保証を行う。より表現豊かでスペーサーな木のアンサンブルに繋がる高密度からスパースな正規化スケジューリング方式を用いる。 15の合成および実世界のデータセットで、Skinny Treesは$1.5\! タイムズ! ～620〜\! タイムズ! パフォーマンスを損なうことなく、高密度木よりも高速な推測が10ドル(約10万円)の圧縮レートで可能になる。スキニーツリーは25 %の機能予算での AUC のパフォーマンスにおいて、多くの既存のツールキットよりも優れた機能選択をもたらし、スキニーツリーは LightGBM を10.2 %(最大37.7 %)、ランダムフォレストを3 %(最大12.5 %)上回っている。

関連論文リスト

Learning a Decision Tree Algorithm with Transformers [80.49817544396379]
本稿では,従来のアルゴリズムから出力されたフィルタを用いてトランスフォーマーモデルを用いて,分類のための強力な決定木を生成するメタトレーについて紹介する。次にMetaTreeをトレーニングして、強力な一般化パフォーマンスを実現するツリーを生成します。
論文参考訳（メタデータ） (2024-02-06T07:40:53Z)
MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
本稿では,決定木誘導に対するベイズ的アプローチを提案する。そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-09-26T23:43:37Z)
On Computing Optimal Tree Ensembles [8.941441654913644]
ランダム林や、より一般的には(決定ノブレイクダッシュ-)ツリーアンサンブルは、分類と回帰の方法として広く使われている。最近のアルゴリズムの進歩は、そのサイズや深さなどの様々な測定に最適な決定木を計算することができる。 2つの新しいアルゴリズムと対応する下位境界を提供する。
論文参考訳（メタデータ） (2023-06-07T13:30:43Z)
Learning-Augmented B-Trees [11.542679443281411]
本研究は,Treapsを用いたBST(Learning-augmented binary search tree)とB-Trees(B-Trees)を複合優先度で検討する。その結果、各項目の深さが予測重量$w_x$で決定される単純な探索木となる。
論文参考訳（メタデータ） (2022-11-16T22:50:40Z)
Individualized and Global Feature Attributions for Gradient Boosted Trees in the Presence of $\ell_2$ Regularization [0.0]
本稿では,プレデコン(PreDecomp)を提案する。プレデコン(PreDecomp,PreDecomp,PreDecomp)は,正規化を$ell$で訓練した場合に,増木に対する新規な個別化特徴属性である。また、各ツリーのアウトサンプルデータに個々の特徴属性とラベルの内積で定義される、偏りのないグローバルな特徴属性のファミリーであるTreeInnerを提案する。
論文参考訳（メタデータ） (2022-11-08T17:56:22Z)
Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
論文参考訳（メタデータ） (2022-05-26T12:18:44Z)
Exact and Approximate Hierarchical Clustering Using A* [51.187990314731344]
クラスタリングのA*探索に基づく新しいアプローチを紹介します。 A*と新しいエンフォレリスデータ構造を組み合わせることで、禁止的に大きな検索空間を克服します。実験により,本手法は粒子物理利用事例や他のクラスタリングベンチマークにおいて,ベースラインよりもかなり高品質な結果が得られることを示した。
論文参考訳（メタデータ） (2021-04-14T18:15:27Z)
Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文参考訳（メタデータ） (2020-12-29T18:05:05Z)
An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
論文参考訳（メタデータ） (2020-10-22T10:59:49Z)
Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。離散パラメータの混合整数プログラムを緩和する。我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
論文参考訳（メタデータ） (2020-10-09T15:11:28Z)
MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。