論文の概要: (Decision and regression) tree ensemble based kernels for regression and
classification
- arxiv url: http://arxiv.org/abs/2012.10737v1
- Date: Sat, 19 Dec 2020 16:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 13:26:31.390211
- Title: (Decision and regression) tree ensemble based kernels for regression and
classification
- Title（参考訳）: (決定と回帰)回帰と分類のための木のアンサンブルに基づくカーネル
- Authors: Dai Feng and Richard Baumgartner
- Abstract要約: Breiman's random forest (RF) や Gradient Boosted Trees (GBT) のような木に基づくアンサンブルは暗黙のカーネルジェネレータとして解釈できる。
連続目標に対して、RF/GBTカーネルは高次元シナリオにおいてそれぞれのアンサンブルと競合することを示す。
回帰と分類のための実際のデータセットの結果を提供し、これらの洞察が実際にどのように活用されるかを示します。
- 参考スコア（独自算出の注目度）: 2.28438857884398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree based ensembles such as Breiman's random forest (RF) and Gradient
Boosted Trees (GBT) can be interpreted as implicit kernel generators, where the
ensuing proximity matrix represents the data-driven tree ensemble kernel.
Kernel perspective on the RF has been used to develop a principled framework
for theoretical investigation of its statistical properties. Recently, it has
been shown that the kernel interpretation is germane to other tree-based
ensembles e.g. GBTs. However, practical utility of the links between kernels
and the tree ensembles has not been widely explored and systematically
evaluated.
Focus of our work is investigation of the interplay between kernel methods
and the tree based ensembles including the RF and GBT. We elucidate the
performance and properties of the RF and GBT based kernels in a comprehensive
simulation study comprising of continuous and binary targets. We show that for
continuous targets, the RF/GBT kernels are competitive to their respective
ensembles in higher dimensional scenarios, particularly in cases with larger
number of noisy features. For the binary target, the RF/GBT kernels and their
respective ensembles exhibit comparable performance. We provide the results
from real life data sets for regression and classification to show how these
insights may be leveraged in practice. Overall, our results support the tree
ensemble based kernels as a valuable addition to the practitioner's toolbox.
Finally, we discuss extensions of the tree ensemble based kernels for
survival targets, interpretable prototype and landmarking classification and
regression. We outline future line of research for kernels furnished by
Bayesian counterparts of the frequentist tree ensembles.
- Abstract（参考訳）: Breiman's random forest (RF) や Gradient Boosted Trees (GBT) のような木に基づくアンサンブルは暗黙のカーネルジェネレータと解釈できる。
RFのカーネル・パースペクティブは、その統計的性質を理論的に研究するための原則的な枠組みの開発に使用されている。
近年、カーネルの解釈は他の木に基づくアンサンブルに対してドイツ語であることが示されている。
GBT。
しかしながら、カーネルとツリーアンサンブル間のリンクの実用性は広く研究されておらず、体系的に評価されていない。
本研究の焦点は, RFやGBTを含む木に基づくアンサンブルとカーネルメソッドの相互作用を調べることである。
RFおよびGBTをベースとしたカーネルの性能と特性を連続的および二元的ターゲットからなる総合シミュレーション研究で解明する。
その結果,rf/gbtカーネルは,高次元のシナリオにおいて,特にノイズが多い場合において,それぞれのアンサンブルと競合することがわかった。
バイナリターゲットでは、RF/GBTカーネルとそのアンサンブルは同等のパフォーマンスを示す。
回帰と分類のための実際のデータセットの結果を提供し、これらの洞察が実際にどのように活用されるかを示します。
全体として、私たちの結果は、実践者のツールボックスに価値ある追加として、ツリーアンサンブルベースのカーネルをサポートします。
最後に,サバイバルターゲット,解釈可能なプロトタイプ,ランドマーク分類と回帰のためのツリーアンサンブルベースのカーネルの拡張について述べる。
我々は, ベイジアン系の多頻度ツリーアンサンブルによるカーネルの研究の今後の展開について概説する。
関連論文リスト
- Survival Kernets: Scalable and Interpretable Deep Kernel Survival
Analysis with an Accuracy Guarantee [8.75682288556859]
サバイバル分析モデルは、カーネル関数の助けを借りて、個々のサバイバル分布を推定する。
我々は、サバイバルカーネットと呼ばれる、大規模なデータセットにスケールする新しいディープカーネルサバイバルモデルを提案する。
論文 参考訳（メタデータ） (2022-06-21T15:42:48Z) - Entailment Tree Explanations via Iterative Retrieval-Generation Reasoner [56.08919422452905]
我々はIRGR(Iterative Retrieval-Generation Reasoner)と呼ばれるアーキテクチャを提案する。
本モデルでは,テキストの前提からステップバイステップの説明を体系的に生成することにより,与えられた仮説を説明することができる。
前提条件の検索と細分化木の生成に関する既存のベンチマークを上回り、全体の正しさはおよそ300%向上した。
論文 参考訳（メタデータ） (2022-05-18T21:52:11Z) - Bayesian Structure Learning with Generative Flow Networks [85.84396514570373]
ベイズ構造学習では、データから有向非巡回グラフ(DAG)上の分布を推定することに興味がある。
近年,ジェネレーティブ・フロー・ネットワーク(GFlowNets)と呼ばれる確率モデルのクラスが,ジェネレーティブ・モデリングの一般的なフレームワークとして紹介されている。
DAG-GFlowNetと呼ばれる本手法は,DAGよりも後方の正確な近似を提供する。
論文 参考訳（メタデータ） (2022-02-28T15:53:10Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2022-02-01T17:46:51Z) - BCDAG: An R package for Bayesian structure and Causal learning of
Gaussian DAGs [77.34726150561087]
観測データから因果関係の発見と因果関係を推定するためのRパッケージを提案する。
我々の実装は、観測回数とともに効率的にスケールし、DAGが十分にスパースであるたびに、データセット内の変数の数を削減します。
次に、実際のデータセットとシミュレーションデータセットの両方で、主な機能とアルゴリズムを説明します。
論文 参考訳（メタデータ） (2022-01-28T09:30:32Z) - Recursive Bayesian Networks: Generalising and Unifying Probabilistic
Context-Free Grammars and Dynamic Bayesian Networks [0.0]
確率的文脈自由文法 (PCFGs) と動的ベイズネットワーク (DBNs) は相補的な強みと制約を持つシーケンスモデルとして広く使われている。
本稿では,PCFGとDBNを一般化・統合するRecursive Bayesian Networks(RBNs)について述べる。
論文 参考訳（メタデータ） (2021-11-02T19:21:15Z) - A Framework for an Assessment of the Kernel-target Alignment in Tree
Ensemble Kernel Learning [2.28438857884398]
連続目標に対して,ツリーベースカーネル学習の良好な性能は,強いカーネル-ターゲットアライメントと関連していることを示す。
また,ツリーアンサンブルをベースとしたカーネルは,強いターゲットアライメント成分によって特徴付けられることを示す。
論文 参考訳（メタデータ） (2021-08-19T15:37:17Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Spectral Top-Down Recovery of Latent Tree Models [13.681975313065477]
スペクトルトップダウン・リカバリ (STDR) は、大きな潜在木モデルを推定するための分割・コンカレントアプローチである。
STDRの分割ステップは非ランダムです。
代わりに、観測されたノードに関連する適切なラプラシア行列のFiedlerベクトルに基づいている。
私達はSTDRが統計的に一貫性があることを証明し、高い確率で木を正確に回復するために必要なサンプルの数を縛ります。
論文 参考訳（メタデータ） (2021-02-26T02:47:42Z) - Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。
室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
論文 参考訳（メタデータ） (2021-01-17T18:28:23Z) - Nested Named Entity Recognition with Partially-Observed TreeCRFs [23.992944831013013]
ネストネストnerを,部分可観測木を用いた構成構文解析と捉え,部分可観測木crfでモデル化した。
提案手法はACE 2004, ACE 2005データセット上でのSOTA(State-of-the-art)F1スコアを達成し, GENIAデータセット上でのSOTAモデルに匹敵する性能を示す。
論文 参考訳（メタデータ） (2020-12-15T18:20:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。