論文の概要: Deep differentiable forest with sparse attention for the tabular data
- arxiv url: http://arxiv.org/abs/2003.00223v1
- Date: Sat, 29 Feb 2020 09:47:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-27 20:18:00.841051
- Title: Deep differentiable forest with sparse attention for the tabular data
- Title（参考訳）: 表層データに注意を払っている深い分化可能な森林
- Authors: Yingshi Chen
- Abstract要約: 分化可能な森林は、木とニューラルネットワークの両方の利点がある。
完全な微分可能性を持ち、すべての変数は学習可能なパラメータである。
異なる森林における注意機構の解明と解析を行った。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a general architecture of deep differentiable forest and its
sparse attention mechanism. The differentiable forest has the advantages of
both trees and neural networks. Its structure is a simple binary tree, easy to
use and understand. It has full differentiability and all variables are
learnable parameters. We would train it by the gradient-based optimization
method, which shows great power in the training of deep CNN. We find and
analyze the attention mechanism in the differentiable forest. That is, each
decision depends on only a few important features, and others are irrelevant.
The attention is always sparse. Based on this observation, we improve its
sparsity by data-aware initialization. We use the attribute importance to
initialize the attention weight. Then the learned weight is much sparse than
that from random initialization. Our experiment on some large tabular dataset
shows differentiable forest has higher accuracy than GBDT, which is the state
of art algorithm for tabular datasets. The source codes are available at
https://github.com/closest-git/QuantumForest
- Abstract（参考訳）: 本報告では, 森林の広義の森林構造とその疎開機構について述べる。
分化可能な森林は、木とニューラルネットワークの両方の利点がある。
その構造は単純なバイナリツリーであり、使いやすく、理解しやすい。
完全な微分可能性を持ち、すべての変数は学習可能なパラメータである。
我々は,CNNの深層学習において優れたパワーを示す勾配に基づく最適化手法を用いて学習する。
異なる森林における注意機構の解明と解析を行った。
つまり、それぞれの決定はいくつかの重要な機能にのみ依存します。
常に注意をそらしている。
この観察に基づいて,データ認識初期化によってそのスパース性が向上する。
属性重要度を用いて注意重みを初期化する。
すると、学習した重量はランダムな初期化の重量よりもはるかに小さい。
大規模な表付きデータセットを用いた実験では,表付きデータセットの芸術的アルゴリズムであるGBDTよりも微分可能な森林の方が精度が高いことが示された。
ソースコードはhttps://github.com/closest-git/QuantumForestで入手できる。
関連論文リスト
- TreeLearn: A Comprehensive Deep Learning Method for Segmenting
Individual Trees from Ground-Based LiDAR Forest Point Clouds [42.87502453001109]
森林点雲のツリーインスタンスセグメンテーションのためのディープラーニングに基づくアプローチであるTreeLearnを提案する。
TreeLearnは、すでにセグメンテーションされたポイントクラウドにデータ駆動でトレーニングされているため、事前に定義された機能やアルゴリズムに依存しない。
我々は、Lidar360ソフトウェアを使って6665本の木の森林点雲上でTreeLearnを訓練した。
論文 参考訳（メタデータ） (2023-09-15T15:20:16Z) - Bayesian post-hoc regularization of random forests [0.0]
Random Forestsは、さまざまな機械学習タスクで広く使われている強力なアンサンブル学習アルゴリズムである。
そこで本研究では,葉ノードが根に近づいた場合の信頼性パターンを活用するために,ポストホック正則化を提案する。
各種機械学習データセットを用いて,本手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-06-06T14:15:29Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳（メタデータ） (2023-03-09T10:08:34Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳（メタデータ） (2022-08-01T17:19:32Z) - Shrub Ensembles for Online Classification [7.057937612386993]
決定木(DT)アンサンブルは、データの変化に適応しながら優れたパフォーマンスを提供するが、リソース効率は良くない。
本稿では,資源制約システムのための新しいメモリ効率の高いオンライン分類アンサンブルである低木アンサンブルを提案する。
我々のアルゴリズムは、小さな窓に小から中程度の決定木を訓練し、勾配降下を利用してこれらの低木のアンサンブル重みを学習する。
論文 参考訳（メタデータ） (2021-12-07T14:22:43Z) - Active-LATHE: An Active Learning Algorithm for Boosting the Error
Exponent for Learning Homogeneous Ising Trees [75.93186954061943]
我々は、$rho$が少なくとも0.8$である場合に、エラー指数を少なくとも40%向上させるアルゴリズムを設計し、分析する。
我々の分析は、グラフの一部により多くのデータを割り当てるために、微小だが検出可能なサンプルの統計的変動を巧みに活用することに基づいている。
論文 参考訳（メタデータ） (2021-10-27T10:45:21Z) - To Boost or not to Boost: On the Limits of Boosted Neural Networks [67.67776094785363]
ブースティングは分類器のアンサンブルを学ぶ方法である。
ブースティングは決定木に非常に有効であることが示されているが、ニューラルネットワークへの影響は広く研究されていない。
単一のニューラルネットワークは通常、同じ数のパラメータを持つ小さなニューラルネットワークの強化されたアンサンブルよりもよく一般化される。
論文 参考訳（メタデータ） (2021-07-28T19:10:03Z) - Cherry-Picking Gradients: Learning Low-Rank Embeddings of Visual Data
via Differentiable Cross-Approximation [53.95297550117153]
本稿では,大規模な視覚データテンソルの処理を行うエンドツーエンドのトレーニング可能なフレームワークを提案する。
提案手法は大規模多次元グリッドデータや,大規模受容領域上のコンテキストを必要とするタスクに特に有用である。
論文 参考訳（メタデータ） (2021-05-29T08:39:57Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳（メタデータ） (2020-12-29T18:05:05Z) - Attention augmented differentiable forest for tabular data [0.0]
分化可能な森林は、完全な分化可能な決定的な木々の集合体である。
本研究では,異なる森林の枠組みにおける樹木の注意ブロック(TAB)を提案する。
論文 参考訳（メタデータ） (2020-10-02T11:42:33Z) - Is deeper better? It depends on locality of relevant features [5.33024001730262]
過パラメータ化方式における深さ増加の効果について検討する。
実験では、より深いラベルはローカルレーベルにとって、より浅いラベルはグローバルレーベルにとって、より優れていることが示されている。
ニューラルネットワークは、一般化性能の深さ依存性を正しく捉えていない。
論文 参考訳（メタデータ） (2020-05-26T02:44:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。