論文の概要: The Tree Ensemble Layer: Differentiability meets Conditional Computation
- arxiv url: http://arxiv.org/abs/2002.07772v2
- Date: Sat, 11 Jul 2020 00:40:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-30 19:06:52.124910
- Title: The Tree Ensemble Layer: Differentiability meets Conditional Computation
- Title（参考訳）: ツリーアンサンブル層: 微分可能性と条件計算
- Authors: Hussein Hazimeh, Natalia Ponomareva, Petros Mol, Zhenyu Tan, Rahul
Mazumder
- Abstract要約: 我々は、異なる決定木(ソフトツリー)のアンサンブルからなるニューラルネットワークのための新しいレイヤを導入する。
異なる木は文学において有望な結果を示すが、典型的には条件計算をサポートしないため、訓練と推論が遅い。
我々は、空間性を利用する特殊前方及び後方伝播アルゴリズムを開発した。
- 参考スコア（独自算出の注目度）: 8.40843862024745
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks and tree ensembles are state-of-the-art learners, each with
its unique statistical and computational advantages. We aim to combine these
advantages by introducing a new layer for neural networks, composed of an
ensemble of differentiable decision trees (a.k.a. soft trees). While
differentiable trees demonstrate promising results in the literature, they are
typically slow in training and inference as they do not support conditional
computation. We mitigate this issue by introducing a new sparse activation
function for sample routing, and implement true conditional computation by
developing specialized forward and backward propagation algorithms that exploit
sparsity. Our efficient algorithms pave the way for jointly training over deep
and wide tree ensembles using first-order methods (e.g., SGD). Experiments on
23 classification datasets indicate over 10x speed-ups compared to the
differentiable trees used in the literature and over 20x reduction in the
number of parameters compared to gradient boosted trees, while maintaining
competitive performance. Moreover, experiments on CIFAR, MNIST, and Fashion
MNIST indicate that replacing dense layers in CNNs with our tree layer reduces
the test loss by 7-53% and the number of parameters by 8x. We provide an
open-source TensorFlow implementation with a Keras API.
- Abstract（参考訳）: ニューラルネットワークとツリーアンサンブルは最先端の学習者であり、それぞれに独自の統計と計算の利点がある。
我々は,これらの利点を組み合わせるために,微分可能な決定木(すなわちソフトツリー)のアンサンブルからなるニューラルネットワークの新しい層を導入することを目指している。
微分可能木は文献で有望な結果を示すが、条件計算をサポートしないため、訓練と推論は一般的に遅い。
本稿では,サンプルルーティングのための新しいスパースアクティベーション関数を導入することでこの問題を軽減し,スパース性を利用する特別な前方および後方伝播アルゴリズムを開発することにより,真の条件計算を実現する。
我々の効率的なアルゴリズムは、一階法(例えばSGD)を用いて、深い木と広い木のアンサンブルを共同で訓練する方法を舗装する。
23の分類データセットを用いた実験は、文献で使用されている異なる木に比べて10倍以上のスピードアップを示し、競争性能を維持しながら、勾配が増した木に比べてパラメータの20倍以上の減少を示した。
さらに,CIFAR,MNIST,Fashion MNISTの実験から,CNNの高密度層を木層に置き換えることで,テスト損失が7～53%減少し,パラメータ数が8倍減少することが示唆された。
Keras APIを使ったオープンソースのTensorFlow実装を提供しています。
関連論文リスト
- Soft Hoeffding Tree: A Transparent and Differentiable Model on Data Streams [2.6524539020042663]
Hoeffding Treeのようなストリームマイニングアルゴリズムは、入ってくるデータストリームに基づいて成長する。
我々は,データストリームを無限に変化させる可能性のある,新しい微分可能かつ透明なモデルとして,ソフトなHoeffding Tree (SoHoT)を提案する。
論文 参考訳（メタデータ） (2024-11-07T15:49:53Z) - LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。
GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
論文 参考訳（メタデータ） (2024-06-29T05:14:04Z) - Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。
本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
論文 参考訳（メタデータ） (2024-05-27T05:06:24Z) - Rapid and Precise Topological Comparison with Merge Tree Neural Networks [7.443474354626664]
本稿では,Merge Tree Neural Network (MTNN)について紹介する。
まず,グラフの効率的なエンコーダとして出現したグラフニューラルネットワークをトレーニングして,ベクトル空間にマージツリーを埋め込む方法を示す。
次に、木とノードの埋め込みと新しいトポロジカルアテンション機構を統合することにより、類似性の比較をさらに改善する新しいMTNNモデルを定式化する。
論文 参考訳（メタデータ） (2024-04-08T21:26:04Z) - Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。
我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。
SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-23T18:37:22Z) - Shrub Ensembles for Online Classification [7.057937612386993]
決定木(DT)アンサンブルは、データの変化に適応しながら優れたパフォーマンスを提供するが、リソース効率は良くない。
本稿では,資源制約システムのための新しいメモリ効率の高いオンライン分類アンサンブルである低木アンサンブルを提案する。
我々のアルゴリズムは、小さな窓に小から中程度の決定木を訓練し、勾配降下を利用してこれらの低木のアンサンブル重みを学習する。
論文 参考訳（メタデータ） (2021-12-07T14:22:43Z) - Structural Optimization Makes Graph Classification Simpler and Better [5.770986723520119]
モデル学習プロセスを簡素化しつつ,グラフ分類性能の向上の可能性を検討する。
構造情報アセスメントの進歩に触発されて、グラフから木をコードするデータサンプルを最適化する。
本稿では,木カーネルと畳み込みネットワークにこのスキームを実装し,グラフ分類を行う。
論文 参考訳（メタデータ） (2021-09-05T08:54:38Z) - To Boost or not to Boost: On the Limits of Boosted Neural Networks [67.67776094785363]
ブースティングは分類器のアンサンブルを学ぶ方法である。
ブースティングは決定木に非常に有効であることが示されているが、ニューラルネットワークへの影響は広く研究されていない。
単一のニューラルネットワークは通常、同じ数のパラメータを持つ小さなニューラルネットワークの強化されたアンサンブルよりもよく一般化される。
論文 参考訳（メタデータ） (2021-07-28T19:10:03Z) - Learning N:M Fine-grained Structured Sparse Neural Networks From Scratch [75.69506249886622]
ディープニューラルネットワーク(DNN)におけるスパーシティは、資源制約された環境でモデルを圧縮し、加速するために広く研究されている。
本稿では,N:M細粒構造スパースネットワークのスクラッチからトレーニングを初めて行う。
論文 参考訳（メタデータ） (2021-02-08T05:55:47Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳（メタデータ） (2020-12-29T18:05:05Z) - Learning Binary Decision Trees by Argmin Differentiation [34.9154848754842]
ダウンストリームタスクのためにデータを分割するバイナリ決定木を学びます。
離散パラメータの混合整数プログラムを緩和する。
我々は、前方と後方のパスを効率的に計算するアルゴリズムを考案した。
論文 参考訳（メタデータ） (2020-10-09T15:11:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。