論文の概要: A Framework for an Assessment of the Kernel-target Alignment in Tree Ensemble Kernel Learning

• arxiv url: http://arxiv.org/abs/2108.08752v1
• Date: Thu, 19 Aug 2021 15:37:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-20 16:53:24.062154
• Title: A Framework for an Assessment of the Kernel-target Alignment in Tree Ensemble Kernel Learning
• Title（参考訳）: ツリーアンサンブル・カーネル学習におけるカーネル・ターゲットアライメント評価の枠組み
• Authors: Dai Feng, Richard Baumgartner
• Abstract要約: 連続目標に対して,ツリーベースカーネル学習の良好な性能は,強いカーネル-ターゲットアライメントと関連していることを示す。 また,ツリーアンサンブルをベースとしたカーネルは,強いターゲットアライメント成分によって特徴付けられることを示す。
• 参考スコア（独自算出の注目度）: 2.28438857884398
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Kernels ensuing from tree ensembles such as random forest (RF) or gradient boosted trees (GBT), when used for kernel learning, have been shown to be competitive to their respective tree ensembles (particularly in higher dimensional scenarios). On the other hand, it has been also shown that performance of the kernel algorithms depends on the degree of the kernel-target alignment. However, the kernel-target alignment for kernel learning based on the tree ensembles has not been investigated and filling this gap is the main goal of our work. Using the eigenanalysis of the kernel matrix, we demonstrate that for continuous targets good performance of the tree-based kernel learning is associated with strong kernel-target alignment. Moreover, we show that well performing tree ensemble based kernels are characterized by strong target aligned components that are expressed through scalar products between the eigenvectors of the kernel matrix and the target. This suggests that when tree ensemble based kernel learning is successful, relevant information for the supervised problem is concentrated near lower dimensional manifold spanned by the target aligned components. Persistence of the strong target aligned components in tree ensemble based kernels is further supported by sensitivity analysis via landmark learning. In addition to a comprehensive simulation study, we also provide experimental results from several real life data sets that are in line with the simulations.
• Abstract（参考訳）: ランダム・フォレスト (RF) や勾配増強木 (GBT) などの樹木アンサンブルから続くカーネルは、カーネル・ラーニングに使用される際に、それぞれの木アンサンブル(特に高次元シナリオにおいて)と競合することが示されている。 一方で、カーネルアルゴリズムの性能は、カーネルとターゲットのアライメントの程度に依存することも示されている。 しかし,木列に基づくカーネル学習のためのカーネル・ターゲットアライメントは検討されておらず,このギャップを埋めることが本研究の主な目標である。 カーネル行列の固有解析を用いて、連続目標に対して、ツリーベースカーネル学習の優れた性能は、強いカーネル-ターゲットアライメントと関連していることを示す。 さらに,木組合せに基づくカーネルは,カーネルマトリックスの固有ベクトルとターゲットとの間のスカラー積を通じて表現される強い目標整合成分によって特徴づけられることを示した。 これは、ツリーアンサンブルに基づくカーネル学習が成功すると、教師付き問題の関連情報は、対象のアライメントされたコンポーネントにまたがる低次元多様体の近くに集中することを示唆している。 ツリーアンサンブルベースのカーネルにおける強力なターゲットアライメントコンポーネントの永続化は、ランドマーク学習による感度分析によってさらにサポートされている。 総合的なシミュレーション研究に加えて,シミュレーションに合致した複数の実データからの実験結果も提供する。

関連論文リスト

• Optimal Kernel Choice for Score Function-based Causal Discovery [92.65034439889872]
  本稿では,データに最も適合する最適なカーネルを自動的に選択する,一般化スコア関数内のカーネル選択手法を提案する。 合成データと実世界のベンチマークの両方で実験を行い,提案手法がカーネル選択法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-14T09:32:20Z)
• Kernel KMeans clustering splits for end-to-end unsupervised decision trees [16.539007424389254]
  本稿では,クラスタリングのための非教師付きバイナリツリーであるKauriについて紹介する。 この方法は、セントロイドの定義を必要とせず、カーネルKMeansの目的を欲しがる最大化する。 他のカーネルでは、KauriはカーネルKMeansとCART決定ツリーの結合よりも優れていることが多い。
  論文  参考訳（メタデータ） (2024-02-19T15:39:39Z)
• Parallel Tree Kernel Computation [0.0]
  2つの有限木からなる木核の計算のための逐次アルゴリズムの並列実装を考案する。 その結果,提案した並列アルゴリズムは遅延の点で逐次アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-05-12T18:16:45Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Local Sample-weighted Multiple Kernel Clustering with Consensus Discriminative Graph [73.68184322526338]
  マルチカーネルクラスタリング(MKC)は、ベースカーネルの集合から最適な情報融合を実現するためにコミットされる。 本稿では,新しい局所サンプル重み付きマルチカーネルクラスタリングモデルを提案する。 実験により, LSWMKCはより優れた局所多様体表現を有し, 既存のカーネルやグラフベースのクラスタリングアルゴリズムよりも優れていた。
  論文  参考訳（メタデータ） (2022-07-05T05:00:38Z)
• Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
  オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。 穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。 また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2022-02-01T17:46:51Z)
• Kernel Continual Learning [117.79080100313722]
  カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。 エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。 タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
  論文  参考訳（メタデータ） (2021-07-12T22:09:30Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• (Decision and regression) tree ensemble based kernels for regression and classification [2.28438857884398]
  Breiman's random forest (RF) や Gradient Boosted Trees (GBT) のような木に基づくアンサンブルは暗黙のカーネルジェネレータとして解釈できる。 連続目標に対して、RF/GBTカーネルは高次元シナリオにおいてそれぞれのアンサンブルと競合することを示す。 回帰と分類のための実際のデータセットの結果を提供し、これらの洞察が実際にどのように活用されるかを示します。
  論文  参考訳（メタデータ） (2020-12-19T16:52:58Z)
• Graph Neural Networks with Composite Kernels [60.81504431653264]
  カーネル重み付けの観点からノード集約を再解釈する。 本稿では,アグリゲーション方式における特徴類似性を考慮したフレームワークを提案する。 特徴空間における特徴類似性をエンコードするために,元の隣り合うカーネルと学習可能なカーネルの合成として特徴集約を提案する。
  論文  参考訳（メタデータ） (2020-05-16T04:44:29Z)
• Algorithms for Learning Kernels Based on Centered Alignment [39.7160959329339]
  本稿では,カーネル学習のための新しい,効果的なアルゴリズムを提案する。 我々のアルゴリズムは中心的なアライメントの概念に基づいている。 これらのアルゴリズムは、いわゆる一様結合解よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2012-03-02T19:20:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。