論文の概要: Attention augmented differentiable forest for tabular data

• arxiv url: http://arxiv.org/abs/2010.02921v1
• Date: Fri, 2 Oct 2020 11:42:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 00:57:55.880824
• Title: Attention augmented differentiable forest for tabular data
• Title（参考訳）: 表データのための注意を増す微分可能森林
• Authors: Yingshi Chen
• Abstract要約: 分化可能な森林は、完全な分化可能な決定的な木々の集合体である。 本研究では,異なる森林の枠組みにおける樹木の注意ブロック(TAB)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable forest is an ensemble of decision trees with full differentiability. Its simple tree structure is easy to use and explain. With full differentiability, it would be trained in the end-to-end learning framework with gradient-based optimization method. In this paper, we propose tree attention block(TAB) in the framework of differentiable forest. TAB block has two operations, squeeze and regulate. The squeeze operation would extract the characteristic of each tree. The regulate operation would learn nonlinear relations between these trees. So TAB block would learn the importance of each tree and adjust its weight to improve accuracy. Our experiment on large tabular dataset shows attention augmented differentiable forest would get comparable accuracy with gradient boosted decision trees(GBDT), which is the state-of-the-art algorithm for tabular datasets. And on some datasets, our model has higher accuracy than best GBDT libs (LightGBM, Catboost, and XGBoost). Differentiable forest model supports batch training and batch size is much smaller than the size of training set. So on larger data sets, its memory usage is much lower than GBDT model. The source codes are available at https://github.com/closest-git/QuantumForest.
• Abstract（参考訳）: 分化可能な森林は、完全な分化可能な決定的な木々の集合体である。 その単純な木構造は簡単に使いやすく説明できる。 完全な微分可能性で、勾配に基づく最適化手法でエンドツーエンドの学習フレームワークでトレーニングされる。 本稿では,異なる森林の枠組みにおける樹木の注意ブロック(TAB)を提案する。 TABブロックには2つの操作がある。 圧縮操作は各木の特性を抽出する。 規制操作はこれらの木の間の非線形関係を学習する。 そのため、TABブロックは各木の重要度を学習し、その重量を調整して精度を向上する。 大規模表型データセットを用いた実験では,グラフ型データセットのための最先端アルゴリズムであるgradient boosted decision trees(gbdt)と同等の精度が得られる。 いくつかのデータセットでは、我々のモデルは最高のGBDT libs(LightGBM、Catboost、XGBoost)よりも精度が高い。 微分可能なフォレストモデルはバッチトレーニングをサポートし、バッチサイズはトレーニングセットのサイズよりもはるかに小さい。 したがって、より大きなデータセットでは、メモリ使用量はGBDTモデルよりもはるかに少ない。 ソースコードはhttps://github.com/closest-git/QuantumForestで入手できる。

関連論文リスト

• GRANDE: Gradient-Based Decision Tree Ensembles for Tabular Data [9.107782510356989]
  そこで本研究では,エンドツーエンドの勾配勾配勾配を用いた軸方向決定木アンサンブルの学習手法を提案する。 Grandeはツリーアンサンブルの密度の高い表現に基づいており、ストレートスルー演算子でバックプロパゲーションを使用することができる。 提案手法は,ほとんどのデータセットにおいて,既存の勾配ブースティングおよびディープラーニングフレームワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-29T10:49:14Z)
• TreeLearn: A Comprehensive Deep Learning Method for Segmenting Individual Trees from Ground-Based LiDAR Forest Point Clouds [42.87502453001109]
  森林点雲のツリーインスタンスセグメンテーションのためのディープラーニングに基づくアプローチであるTreeLearnを提案する。 TreeLearnは、すでにセグメンテーションされたポイントクラウドにデータ駆動でトレーニングされているため、事前に定義された機能やアルゴリズムに依存しない。 我々は、Lidar360ソフトウェアを使って6665本の木の森林点雲上でTreeLearnを訓練した。
  論文  参考訳（メタデータ） (2023-09-15T15:20:16Z)
• SoftTreeMax: Policy Gradient with Tree Search [72.9513807133171]
  我々は、ツリー検索をポリシー勾配に統合する最初のアプローチであるSoftTreeMaxを紹介します。 Atariでは、SoftTreeMaxが分散PPOと比較して、実行時のパフォーマンスを最大5倍向上させる。
  論文  参考訳（メタデータ） (2022-09-28T09:55:47Z)
• Understanding Deep Learning via Decision Boundary [81.49114762506287]
  決定境界(DB)の変動が低いニューラルネットワークはより一般化可能であることを示す。 アルゴリズムDBの変数と$(epsilon, eta)$-data DBの変数という2つの新しい概念が、決定境界の変数を測定するために提案されている。
  論文  参考訳（メタデータ） (2022-06-03T11:34:12Z)
• Flexible Modeling and Multitask Learning using Differentiable Tree Ensembles [6.037383467521294]
  本稿では、任意の損失関数、欠落応答、マルチタスク学習をサポートするために、ツリーアンサンブルを学習するための柔軟なフレームワークを提案する。 我々のフレームワークは、一階述語法で訓練できる、微分可能なツリーアンサンブルの上に構築されている。 我々のフレームワークは、一般的なツールキットよりも100倍コンパクトで、表現力に富んだツリーアンサンブルを23%も得ることを示す。
  論文  参考訳（メタデータ） (2022-05-19T17:30:49Z)
• Shrub Ensembles for Online Classification [7.057937612386993]
  決定木(DT)アンサンブルは、データの変化に適応しながら優れたパフォーマンスを提供するが、リソース効率は良くない。 本稿では,資源制約システムのための新しいメモリ効率の高いオンライン分類アンサンブルである低木アンサンブルを提案する。 我々のアルゴリズムは、小さな窓に小から中程度の決定木を訓練し、勾配降下を利用してこれらの低木のアンサンブル重みを学習する。
  論文  参考訳（メタデータ） (2021-12-07T14:22:43Z)
• Active-LATHE: An Active Learning Algorithm for Boosting the Error Exponent for Learning Homogeneous Ising Trees [75.93186954061943]
  我々は、$rho$が少なくとも0.8$である場合に、エラー指数を少なくとも40%向上させるアルゴリズムを設計し、分析する。 我々の分析は、グラフの一部により多くのデータを割り当てるために、微小だが検出可能なサンプルの統計的変動を巧みに活用することに基づいている。
  論文  参考訳（メタデータ） (2021-10-27T10:45:21Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)
• Deep differentiable forest with sparse attention for the tabular data [0.0]
  分化可能な森林は、木とニューラルネットワークの両方の利点がある。 完全な微分可能性を持ち、すべての変数は学習可能なパラメータである。 異なる森林における注意機構の解明と解析を行った。
  論文  参考訳（メタデータ） (2020-02-29T09:47:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。