論文の概要: (Decision and regression) tree ensemble based kernels for regression and
classification
- arxiv url: http://arxiv.org/abs/2012.10737v1
- Date: Sat, 19 Dec 2020 16:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-01 13:26:31.390211
- Title: (Decision and regression) tree ensemble based kernels for regression and
classification
- Title（参考訳）: (決定と回帰)回帰と分類のための木のアンサンブルに基づくカーネル
- Authors: Dai Feng and Richard Baumgartner
- Abstract要約: Breiman's random forest (RF) や Gradient Boosted Trees (GBT) のような木に基づくアンサンブルは暗黙のカーネルジェネレータとして解釈できる。
連続目標に対して、RF/GBTカーネルは高次元シナリオにおいてそれぞれのアンサンブルと競合することを示す。
回帰と分類のための実際のデータセットの結果を提供し、これらの洞察が実際にどのように活用されるかを示します。
- 参考スコア（独自算出の注目度）: 2.28438857884398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tree based ensembles such as Breiman's random forest (RF) and Gradient
Boosted Trees (GBT) can be interpreted as implicit kernel generators, where the
ensuing proximity matrix represents the data-driven tree ensemble kernel.
Kernel perspective on the RF has been used to develop a principled framework
for theoretical investigation of its statistical properties. Recently, it has
been shown that the kernel interpretation is germane to other tree-based
ensembles e.g. GBTs. However, practical utility of the links between kernels
and the tree ensembles has not been widely explored and systematically
evaluated.
Focus of our work is investigation of the interplay between kernel methods
and the tree based ensembles including the RF and GBT. We elucidate the
performance and properties of the RF and GBT based kernels in a comprehensive
simulation study comprising of continuous and binary targets. We show that for
continuous targets, the RF/GBT kernels are competitive to their respective
ensembles in higher dimensional scenarios, particularly in cases with larger
number of noisy features. For the binary target, the RF/GBT kernels and their
respective ensembles exhibit comparable performance. We provide the results
from real life data sets for regression and classification to show how these
insights may be leveraged in practice. Overall, our results support the tree
ensemble based kernels as a valuable addition to the practitioner's toolbox.
Finally, we discuss extensions of the tree ensemble based kernels for
survival targets, interpretable prototype and landmarking classification and
regression. We outline future line of research for kernels furnished by
Bayesian counterparts of the frequentist tree ensembles.
- Abstract（参考訳）: Breiman's random forest (RF) や Gradient Boosted Trees (GBT) のような木に基づくアンサンブルは暗黙のカーネルジェネレータと解釈できる。
RFのカーネル・パースペクティブは、その統計的性質を理論的に研究するための原則的な枠組みの開発に使用されている。
近年、カーネルの解釈は他の木に基づくアンサンブルに対してドイツ語であることが示されている。
GBT。
しかしながら、カーネルとツリーアンサンブル間のリンクの実用性は広く研究されておらず、体系的に評価されていない。
本研究の焦点は, RFやGBTを含む木に基づくアンサンブルとカーネルメソッドの相互作用を調べることである。
RFおよびGBTをベースとしたカーネルの性能と特性を連続的および二元的ターゲットからなる総合シミュレーション研究で解明する。
その結果,rf/gbtカーネルは,高次元のシナリオにおいて,特にノイズが多い場合において,それぞれのアンサンブルと競合することがわかった。
バイナリターゲットでは、RF/GBTカーネルとそのアンサンブルは同等のパフォーマンスを示す。
回帰と分類のための実際のデータセットの結果を提供し、これらの洞察が実際にどのように活用されるかを示します。
全体として、私たちの結果は、実践者のツールボックスに価値ある追加として、ツリーアンサンブルベースのカーネルをサポートします。
最後に,サバイバルターゲット,解釈可能なプロトタイプ,ランドマーク分類と回帰のためのツリーアンサンブルベースのカーネルの拡張について述べる。
我々は, ベイジアン系の多頻度ツリーアンサンブルによるカーネルの研究の今後の展開について概説する。
関連論文リスト
- Parallel Tree Kernel Computation [0.0]
2つの有限木からなる木核の計算のための逐次アルゴリズムの並列実装を考案する。
その結果,提案した並列アルゴリズムは遅延の点で逐次アルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-05-12T18:16:45Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2022-02-01T17:46:51Z) - BCDAG: An R package for Bayesian structure and Causal learning of
Gaussian DAGs [77.34726150561087]
観測データから因果関係の発見と因果関係を推定するためのRパッケージを提案する。
我々の実装は、観測回数とともに効率的にスケールし、DAGが十分にスパースであるたびに、データセット内の変数の数を削減します。
次に、実際のデータセットとシミュレーションデータセットの両方で、主な機能とアルゴリズムを説明します。
論文 参考訳（メタデータ） (2022-01-28T09:30:32Z) - A Framework for an Assessment of the Kernel-target Alignment in Tree
Ensemble Kernel Learning [2.28438857884398]
連続目標に対して,ツリーベースカーネル学習の良好な性能は,強いカーネル-ターゲットアライメントと関連していることを示す。
また,ツリーアンサンブルをベースとしたカーネルは,強いターゲットアライメント成分によって特徴付けられることを示す。
論文 参考訳（メタデータ） (2021-08-19T15:37:17Z) - Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。
得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文 参考訳（メタデータ） (2021-04-03T09:08:12Z) - Kernel learning approaches for summarising and combining posterior
similarity matrices [68.8204255655161]
我々は,ベイズクラスタリングモデルに対するMCMCアルゴリズムの出力を要約するための新しいアプローチを提案するために,後部類似性行列(PSM)の概念を構築した。
我々の研究の重要な貢献は、PSMが正の半定値であり、したがって確率的に動機付けられたカーネル行列を定義するのに使用できることである。
論文 参考訳（メタデータ） (2020-09-27T14:16:14Z) - TREX: Tree-Ensemble Representer-Point Explanations [13.109852233032395]
TREXは、ツリーアンサンブルのインスタンス属性の説明を提供する説明システムである。
ツリーアンサンブルは微分不可能であるため、特定のツリーアンサンブルの構造をキャプチャするカーネルを定義する。
シュロゲートモデルのカーネル展開の重みは、各トレーニング例のグローバルまたはローカルな重要性を定義するために用いられる。
論文 参考訳（メタデータ） (2020-09-11T17:06:40Z) - Random Forest (RF) Kernel for Regression, Classification and Survival [1.8275108630751844]
正規化線形モデルを用いたデータ駆動RFカーネルの性能と特性を解明する。
連続的および生存的目標に対して、RFカーネルは高次元シナリオにおいてRFと競合することを示す。
また、回帰、分類、生存のための実生活データセットから、これらの知見が実際にどのように活用されるかを示す結果も提供する。
論文 参考訳（メタデータ） (2020-08-31T20:21:27Z) - Graph Neural Networks with Composite Kernels [60.81504431653264]
カーネル重み付けの観点からノード集約を再解釈する。
本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。
特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
論文 参考訳（メタデータ） (2020-05-16T04:44:29Z) - Embedding Graph Auto-Encoder for Graph Clustering [90.8576971748142]
グラフ自動エンコーダ(GAE)モデルは、半教師付きグラフ畳み込みネットワーク(GCN)に基づく
我々は、グラフクラスタリングのための特定のGAEベースのモデルを設計し、その理論、すなわち、埋め込みグラフオートエンコーダ(EGAE)と整合する。
EGAEは1つのエンコーダと2つのデコーダで構成される。
論文 参考訳（メタデータ） (2020-02-20T09:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。