論文の概要: Flexible Modeling and Multitask Learning using Differentiable Tree Ensembles

• arxiv url: http://arxiv.org/abs/2205.09717v1
• Date: Thu, 19 May 2022 17:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-20 13:49:49.901284
• Title: Flexible Modeling and Multitask Learning using Differentiable Tree Ensembles
• Title（参考訳）: 微分木アンサンブルを用いたフレキシブルモデリングとマルチタスク学習
• Authors: Shibal Ibrahim and Hussein Hazimeh and Rahul Mazumder
• Abstract要約: 本稿では、任意の損失関数、欠落応答、マルチタスク学習をサポートするために、ツリーアンサンブルを学習するための柔軟なフレームワークを提案する。 我々のフレームワークは、一階述語法で訓練できる、微分可能なツリーアンサンブルの上に構築されている。 我々のフレームワークは、一般的なツールキットよりも100倍コンパクトで、表現力に富んだツリーアンサンブルを23%も得ることを示す。
• 参考スコア（独自算出の注目度）: 6.037383467521294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decision tree ensembles are widely used and competitive learning models. Despite their success, popular toolkits for learning tree ensembles have limited modeling capabilities. For instance, these toolkits support a limited number of loss functions and are restricted to single task learning. We propose a flexible framework for learning tree ensembles, which goes beyond existing toolkits to support arbitrary loss functions, missing responses, and multi-task learning. Our framework builds on differentiable (a.k.a. soft) tree ensembles, which can be trained using first-order methods. However, unlike classical trees, differentiable trees are difficult to scale. We therefore propose a novel tensor-based formulation of differentiable trees that allows for efficient vectorization on GPUs. We perform experiments on a collection of 28 real open-source and proprietary datasets, which demonstrate that our framework can lead to 100x more compact and 23% more expressive tree ensembles than those by popular toolkits.
• Abstract（参考訳）: 決定木アンサンブルは広く使われ、競争的な学習モデルである。 その成功にもかかわらず、ツリーアンサンブルを学習するための一般的なツールキットはモデリング能力に制限がある。 例えば、これらのツールキットは限られた数の損失関数をサポートし、単一のタスク学習に制限される。 本稿では、任意の損失関数、欠落応答、マルチタスク学習をサポートする既存のツールキットを超えて、ツリーアンサンブルを学習するための柔軟なフレームワークを提案する。 私たちのフレームワークは差別化可能な(ソフトな)ツリーアンサンブルをベースとしています。 しかし、伝統的な木とは異なり、分化可能な木はスケーリングが難しい。 そこで我々は,GPU上での効率的なベクトル化を可能にする微分可能木のテンソルに基づく新しい定式化を提案する。 私たちは28のオープンソースデータセットとプロプライエタリなデータセットのコレクションで実験を行い、フレームワークが人気のあるツールキットよりも100倍コンパクトで、23%の表現力のあるツリーアンサンブルに繋がることを示した。

関連論文リスト

• Soft Hoeffding Tree: A Transparent and Differentiable Model on Data Streams [2.6524539020042663]
  Hoeffding Treeのようなストリームマイニングアルゴリズムは、入ってくるデータストリームに基づいて成長する。 我々は,データストリームを無限に変化させる可能性のある,新しい微分可能かつ透明なモデルとして,ソフトなHoeffding Tree (SoHoT)を提案する。
  論文  参考訳（メタデータ） (2024-11-07T15:49:53Z)
• Terminating Differentiable Tree Experts [77.2443883991608]
  本稿では,変圧器と表現生成器の組み合わせを用いて木操作を学習するニューラルシンボリック微分木機械を提案する。 まず、専門家の混在を導入することで、各ステップで使用される一連の異なるトランスフォーマーレイヤを取り除きます。 また,モデルが自動生成するステップ数を選択するための新しい終端アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-07-02T08:45:38Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Unboxing Tree Ensembles for interpretability: a hierarchical visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
  我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。 提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
  論文  参考訳（メタデータ） (2023-02-15T10:43:31Z)
• Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
  本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。 木の根から葉までの経路は、個々の将来の軌跡を表す。 ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
  論文  参考訳（メタデータ） (2022-05-26T12:18:44Z)
• Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
  本稿では,構成構文構造をグラフベースで組み込む手法を提案する。 また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。 on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
  論文  参考訳（メタデータ） (2022-02-22T07:40:42Z)
• Shrub Ensembles for Online Classification [7.057937612386993]
  決定木(DT)アンサンブルは、データの変化に適応しながら優れたパフォーマンスを提供するが、リソース効率は良くない。 本稿では,資源制約システムのための新しいメモリ効率の高いオンライン分類アンサンブルである低木アンサンブルを提案する。 我々のアルゴリズムは、小さな窓に小から中程度の決定木を訓練し、勾配降下を利用してこれらの低木のアンサンブル重みを学習する。
  論文  参考訳（メタデータ） (2021-12-07T14:22:43Z)
• Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
  決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。 近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
  論文  参考訳（メタデータ） (2021-01-20T16:47:59Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)
• Born-Again Tree Ensembles [9.307453801175177]
  ツリーアンサンブルは、様々な領域で優れた予測品質を提供するが、複数のツリーの同時使用により、アンサンブルの解釈可能性が低下する。 本研究では,その特徴空間全体において,与えられたツリーのアンサンブルと全く同じ振る舞いを再現する,最小サイズの1つの決定木を構築する過程について検討する。 このアルゴリズムは、実践的な関心のある多くのデータセットに対して最適な生長木を生成する。
  論文  参考訳（メタデータ） (2020-03-24T22:17:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。