論文の概要: End-to-end Feature Selection Approach for Learning Skinny Trees

• arxiv url: http://arxiv.org/abs/2310.18542v1
• Date: Sat, 28 Oct 2023 00:15:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 18:11:21.103529
• Title: End-to-end Feature Selection Approach for Learning Skinny Trees
• Title（参考訳）: 果樹学習のためのエンドツーエンド特徴選択手法
• Authors: Shibal Ibrahim and Kayhan Behdin and Rahul Mazumder
• Abstract要約: 複合機能選択とツリーアンサンブル学習は難しい課題である。一般的な木アンサンブルツールキット(グラディエントツリーやランダムフォレストなど)は、誤解を招くことが知られている特徴量に基づいた特徴選択をサポートし、パフォーマンスを著しく損なう可能性がある。 本研究では,木組におけるアンサンブル選択のためのスキニーツリーツールキットを提案し,特徴選択とツリーアンサンブル学習を同時に行う。
• 参考スコア（独自算出の注目度）: 15.047418632192754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Joint feature selection and tree ensemble learning is a challenging task. Popular tree ensemble toolkits e.g., Gradient Boosted Trees and Random Forests support feature selection post-training based on feature importances, which are known to be misleading, and can significantly hurt performance. We propose Skinny Trees: a toolkit for feature selection in tree ensembles, such that feature selection and tree ensemble learning occurs simultaneously. It is based on an end-to-end optimization approach that considers feature selection in differentiable trees with Group $\ell_0 - \ell_2$ regularization. We optimize with a first-order proximal method and present convergence guarantees for a non-convex and non-smooth objective. Interestingly, dense-to-sparse regularization scheduling can lead to more expressive and sparser tree ensembles than vanilla proximal method. On 15 synthetic and real-world datasets, Skinny Trees can achieve $1.5\times$ - $620\times$ feature compression rates, leading up to $10\times$ faster inference over dense trees, without any loss in performance. Skinny Trees lead to superior feature selection than many existing toolkits e.g., in terms of AUC performance for $25\%$ feature budget, Skinny Trees outperforms LightGBM by $10.2\%$ (up to $37.7\%$), and Random Forests by $3\%$ (up to $12.5\%$).
• Abstract（参考訳）: ジョイント特徴選択とツリーアンサンブル学習は難しい課題である。 人気のツリーアンサンブルツールキットであるグラディエントブーストツリー(Gradient Boosted Trees)やランダムフォレスト(Random Forests)は、特徴的重要性に基づいた機能選択をサポートする。 本研究では,Skinny Treesを提案する。Skinny Treesは,木組における特徴選択のためのツールキットであり,特徴選択と木組学習を同時に行う。 これは、 Group $\ell_0 - \ell_2$ regularization を持つ微分可能木の特徴選択を考えるエンドツーエンド最適化アプローチに基づいている。 一階の近位法で最適化し、非凸および非スムース目的に対する収束保証を与える。 興味深いことに、疎密な正規化スケジューリングはバニラ近位法よりも表現力とスパーサーツリーアンサンブルをもたらす可能性がある。 15の合成および実世界のデータセットでは、Skinny Treesは1.5\times$ -620\times$フィーチャー圧縮レートを達成でき、パフォーマンスを損なうことなく、高密度ツリーよりも10\times$高速な推論が可能になる。 スキニーツリーは多くの既存のツールキットよりも優れた機能選択を導いており、例えば、aucのパフォーマンスで機能予算が25\%、スキニーツリーがlightgbmより10.2\%$(最大37.7\%$)、ランダムフォレストが3\%$(最大12.5\%$)である。

関連論文リスト

• Joint Optimization of Piecewise Linear Ensembles [11.34717731050474]
  ツリーアンサンブルは多くの予測タスクで最先端のパフォーマンスを達成する。 我々は$textbfJ$oint $textbfO$ptimization of $textbfL$inear $textbfEn$sembles (JOPLEn)を提案する。 JOPLEnは、スパーシティ・プロモーティングや部分空間ノルムを含むいくつかの一般的な罰則を非線形予測に適用することを許している。
  論文  参考訳（メタデータ） (2024-05-01T03:59:06Z)
• Learning a Decision Tree Algorithm with Transformers [75.96920867382859]
  メタ学習によってトレーニングされたトランスフォーマーベースのモデルであるMetaTreeを導入し、強力な決定木を直接生成する。 我々は、多くのデータセットに欲求決定木とグローバルに最適化された決定木の両方を適合させ、MetaTreeを訓練して、強力な一般化性能を実現する木のみを生成する。
  論文  参考訳（メタデータ） (2024-02-06T07:40:53Z)
• MAPTree: Beating "Optimal" Decision Trees with Bayesian Decision Trees [2.421336072915701]
  本稿では,決定木誘導に対するベイズ的アプローチを提案する。 そこで我々は,MAPTreeとよばれるAND/OR探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-26T23:43:37Z)
• On Computing Optimal Tree Ensembles [7.424944196676223]
  ランダム林や、より一般的には(決定ノブレイクダッシュ-)ツリーアンサンブルは、分類と回帰の方法として広く使われている。 最近のアルゴリズムの進歩は、そのサイズや深さなどの様々な測定に最適な決定木を計算することができる。 2つの新しいアルゴリズムと対応する下位境界を提供する。
  論文  参考訳（メタデータ） (2023-06-07T13:30:43Z)
• ForestPrune: Compact Depth-Controlled Tree Ensembles [7.538482310185135]
  我々は,個々の木から深度層を刈り取ることで,木アンサンブルを後処理する新しいフレームワークであるフォレストプルーを紹介する。 本研究では,フォレストプルーネにおける問題に対する高品質な解を効率的に得るための最適化アルゴリズムを開発した。 実験により、フォレストプルーンは既存の後処理アルゴリズムによって抽出されたモデルより優れたパシモニアスモデルを生成することを示した。
  論文  参考訳（メタデータ） (2022-05-31T22:04:18Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)
• Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
  ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。 離散パラメータの混合整数プログラムを緩和する。 我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2020-10-09T15:11:28Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。