論文の概要: Flexible Modeling and Multitask Learning using Differentiable Tree
Ensembles
- arxiv url: http://arxiv.org/abs/2205.09717v1
- Date: Thu, 19 May 2022 17:30:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-20 13:49:49.901284
- Title: Flexible Modeling and Multitask Learning using Differentiable Tree
Ensembles
- Title(参考訳): 微分木アンサンブルを用いたフレキシブルモデリングとマルチタスク学習
- Authors: Shibal Ibrahim and Hussein Hazimeh and Rahul Mazumder
- Abstract要約: 本稿では、任意の損失関数、欠落応答、マルチタスク学習をサポートするために、ツリーアンサンブルを学習するための柔軟なフレームワークを提案する。
我々のフレームワークは、一階述語法で訓練できる、微分可能なツリーアンサンブルの上に構築されている。
我々のフレームワークは、一般的なツールキットよりも100倍コンパクトで、表現力に富んだツリーアンサンブルを23%も得ることを示す。
- 参考スコア(独自算出の注目度): 6.037383467521294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision tree ensembles are widely used and competitive learning models.
Despite their success, popular toolkits for learning tree ensembles have
limited modeling capabilities. For instance, these toolkits support a limited
number of loss functions and are restricted to single task learning. We propose
a flexible framework for learning tree ensembles, which goes beyond existing
toolkits to support arbitrary loss functions, missing responses, and multi-task
learning. Our framework builds on differentiable (a.k.a. soft) tree ensembles,
which can be trained using first-order methods. However, unlike classical
trees, differentiable trees are difficult to scale. We therefore propose a
novel tensor-based formulation of differentiable trees that allows for
efficient vectorization on GPUs. We perform experiments on a collection of 28
real open-source and proprietary datasets, which demonstrate that our framework
can lead to 100x more compact and 23% more expressive tree ensembles than those
by popular toolkits.
- Abstract(参考訳): 決定木アンサンブルは広く使われ、競争的な学習モデルである。
その成功にもかかわらず、ツリーアンサンブルを学習するための一般的なツールキットはモデリング能力に制限がある。
例えば、これらのツールキットは限られた数の損失関数をサポートし、単一のタスク学習に制限される。
本稿では、任意の損失関数、欠落応答、マルチタスク学習をサポートする既存のツールキットを超えて、ツリーアンサンブルを学習するための柔軟なフレームワークを提案する。
私たちのフレームワークは差別化可能な(ソフトな)ツリーアンサンブルをベースとしています。
しかし、伝統的な木とは異なり、分化可能な木はスケーリングが難しい。
そこで我々は,GPU上での効率的なベクトル化を可能にする微分可能木のテンソルに基づく新しい定式化を提案する。
私たちは28のオープンソースデータセットとプロプライエタリなデータセットのコレクションで実験を行い、フレームワークが人気のあるツールキットよりも100倍コンパクトで、23%の表現力のあるツリーアンサンブルに繋がることを示した。
関連論文リスト
- ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained
Visual Categorization [56.37520969273242]
細かな視覚分類のための新しいアプローチであるViTreeを紹介する。
ツリーパスをトラバースすることで、ViTreeは変換処理された機能からパッチを効果的に選択し、情報のあるローカルリージョンをハイライトする。
このパッチとパスの選択性は、ViTreeのモデルの解釈可能性を高め、モデルの内部動作に関するより良い洞察を可能にする。
論文 参考訳(メタデータ) (2024-01-30T14:32:25Z) - Effective and Efficient Federated Tree Learning on Hybrid Data [83.77804863458832]
本稿では,ハイブリッドデータ上でのフェデレーションツリー学習を可能にする,新しいフェデレーション学習手法であるHybridTreeを提案する。
木に一貫した分割ルールが存在することを観察し、木の下層にパーティの知識を組み込むことができることを示す。
実験により,HybridTreeは計算および通信のオーバーヘッドが低い集中的な設定に匹敵する精度を達成できることを示した。
論文 参考訳(メタデータ) (2023-10-18T10:28:29Z) - Unboxing Tree Ensembles for interpretability: a hierarchical
visualization tool and a multivariate optimal re-built tree [0.34530027457862006]
我々は,木組モデルの解釈可能な表現を開発し,その振る舞いに関する貴重な洞察を提供する。
提案モデルは,木組決定関数を近似した浅い解釈可能な木を得るのに有効である。
論文 参考訳(メタデータ) (2023-02-15T10:43:31Z) - Highly Efficient Structural Learning of Sparse Staged Trees [2.3572498744567127]
そこで我々は,少数の依存性を課すことができるモデルの空間を探索する,ステージ木のための最初のスケーラブルな構造学習アルゴリズムを提案する。
実世界のアプリケーションと同様にシミュレーション研究は、我々のルーチンと、そのようなデータ学習されたステージツリーの実践的利用を例示している。
論文 参考訳(メタデータ) (2022-06-14T16:46:13Z) - Social Interpretable Tree for Pedestrian Trajectory Prediction [75.81745697967608]
本稿では,このマルチモーダル予測課題に対処するため,SIT(Social Interpretable Tree)と呼ばれる木に基づく手法を提案する。
木の根から葉までの経路は、個々の将来の軌跡を表す。
ETH-UCYとStanford Droneのデータセットによる実験結果からは,手作り木にもかかわらず,我々の手法が最先端の手法の性能に適合または超えることを示した。
論文 参考訳(メタデータ) (2022-05-26T12:18:44Z) - Incorporating Constituent Syntax for Coreference Resolution [50.71868417008133]
本稿では,構成構文構造をグラフベースで組み込む手法を提案する。
また、高次近傍情報を利用して構成木に富んだ構造をエンコードすることも検討する。
on the English and Chinese parts of OntoNotes 5.0 benchmark shows that our proposed model beats a strong baseline or a new-of-the-art performance。
論文 参考訳(メタデータ) (2022-02-22T07:40:42Z) - Shrub Ensembles for Online Classification [7.057937612386993]
決定木(DT)アンサンブルは、データの変化に適応しながら優れたパフォーマンスを提供するが、リソース効率は良くない。
本稿では,資源制約システムのための新しいメモリ効率の高いオンライン分類アンサンブルである低木アンサンブルを提案する。
我々のアルゴリズムは、小さな窓に小から中程度の決定木を訓練し、勾配降下を利用してこれらの低木のアンサンブル重みを学習する。
論文 参考訳(メタデータ) (2021-12-07T14:22:43Z) - Dive into Decision Trees and Forests: A Theoretical Demonstration [0.0]
決定木は"divide-and-conquer"の戦略を使用して、入力機能とラベル間の依存性に関する複雑な問題を小さなものに分割します。
近年, 計算広告, 推薦システム, 情報検索などの性能が大幅に向上している。
論文 参考訳(メタデータ) (2021-01-20T16:47:59Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。
当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
論文 参考訳(メタデータ) (2020-07-24T17:06:55Z) - Born-Again Tree Ensembles [9.307453801175177]
ツリーアンサンブルは、様々な領域で優れた予測品質を提供するが、複数のツリーの同時使用により、アンサンブルの解釈可能性が低下する。
本研究では,その特徴空間全体において,与えられたツリーのアンサンブルと全く同じ振る舞いを再現する,最小サイズの1つの決定木を構築する過程について検討する。
このアルゴリズムは、実践的な関心のある多くのデータセットに対して最適な生長木を生成する。
論文 参考訳(メタデータ) (2020-03-24T22:17:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。