Fugu-MT 論文翻訳(概要): An RKHS Perspective on Tree Ensembles

論文の概要: An RKHS Perspective on Tree Ensembles

arxiv url: http://arxiv.org/abs/2512.00397v1
Date: Sat, 29 Nov 2025 08:54:37 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-02 19:46:34.221445
Title: An RKHS Perspective on Tree Ensembles
Title（参考訳）: 樹木アンサンブルに関するRKHSの展望
Authors: Mehdi Dagdoug, Clement Dombry, Jean-Jil Duchamps,
Abstract要約: 我々はランダムフォレストとグラディエントブースティングを解析するための理論的枠組みを開発する。我々は、ランダムフォレスト予測器が、ペナル化された経験的リスク関数のユニークな最小化器として特徴づけられることを示す。このフレームワークの重要な特徴は、カーネルとRKHSの幾何学の両方がデータに依存しており、ツリーベースのアンサンブルの強い経験的性能に関する理論的説明を提供することである。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Random Forests and Gradient Boosting are among the most effective algorithms for supervised learning on tabular data. Both belong to the class of tree-based ensemble methods, where predictions are obtained by aggregating many randomized regression trees. In this paper, we develop a theoretical framework for analyzing such methods through Reproducing Kernel Hilbert Spaces (RKHSs) constructed on tree ensembles -- more precisely, on the random partitions generated by randomized regression trees. We establish fundamental analytical properties of the resulting Random Forest kernel, including boundedness, continuity, and universality, and show that a Random Forest predictor can be characterized as the unique minimizer of a penalized empirical risk functional in this RKHS, providing a variational interpretation of ensemble learning. We further extend this perspective to the continuous-time formulation of Gradient Boosting introduced by Dombry and Duchamps, and demonstrate that it corresponds to a gradient flow on a Hilbert manifold induced by the Random Forest RKHS. A key feature of this framework is that both the kernel and the RKHS geometry are data-dependent, offering a theoretical explanation for the strong empirical performance of tree-based ensembles. Finally, we illustrate the practical potential of this approach by introducing a kernel principal component analysis built on the Random Forest kernel, which enhances the interpretability of ensemble models, as well as GVI, a new geometric variable importance criterion.
Abstract（参考訳）: ランダムフォレスト(Random Forests)とグラディエント・ブースティング(Gradient Boosting)は、表データの教師あり学習において最も効果的なアルゴリズムである。どちらも木に基づくアンサンブル手法のクラスに属し、多くのランダム化された回帰木を集約することで予測が得られる。本稿では,木アンサンブル上に構築されたKernel Hilbert Spaces (RKHS) を再現することにより,そのような手法を解析するための理論的枠組みを開発する。我々は,ランダムフォレストカーネルの基本的解析的性質を確立し,ランダムフォレスト予測器が,このRKHSで機能するペナル化経験的リスク関数の最小化として特徴付けられることを示すとともに,アンサンブル学習の変分的解釈を提供する。さらに、Dombry と Duchamps が導入したグラディエントブースティングの連続的定式化にこの視点を拡張し、ランダムフォレスト RKHS によって誘導されるヒルベルト多様体上の勾配流に対応することを示す。このフレームワークの重要な特徴は、カーネルとRKHSの幾何学の両方がデータに依存しており、ツリーベースのアンサンブルの強い経験的性能に関する理論的説明を提供することである。最後に、ランダムフォレストカーネル上に構築されたカーネル主成分分析を導入し、アンサンブルモデルの解釈可能性を高めるとともに、新しい幾何学的変数重要基準であるGVIを導入することにより、このアプローチの現実的な可能性を示す。

関連論文リスト

Hierarchical Bayesian Operator-induced Symbolic Regression Trees for Structural Learning of Scientific Expressions [3.8545239266455185]
我々は,木構造的記号表現のアンサンブルとして科学法則を表す記号回帰の階層的ベイズ的枠組みを開発する。我々はベイズ後部濃度の最小値に近い値を確立し、シンボル回帰の文脈で最初の厳密な保証を提供する。実験的な評価は,提案手法の最先端の競合モジュールに対する堅牢な性能を示す。
論文参考訳（メタデータ） (2025-09-24T02:42:25Z)
Learning Decision Trees as Amortized Structure Inference [59.65621207449269]
本稿では,予測決定木アンサンブルを学習するためのハイブリッドアモータイズされた構造推論手法を提案する。提案手法であるDT-GFNは,標準分類ベンチマークにおける最先端決定木やディープラーニング手法よりも優れていることを示す。
論文参考訳（メタデータ） (2025-03-10T07:05:07Z)
PhyloGen: Language Model-Enhanced Phylogenetic Inference via Graph Structure Generation [50.80441546742053]
系統樹は種間の進化的関係を解明する。伝統的なマルコフ連鎖モンテカルロ法は、緩やかな収束と計算上の負担に直面している。我々は、事前学習されたゲノム言語モデルを活用する新しい方法であるPhyloGenを提案する。
論文参考訳（メタデータ） (2024-12-25T08:33:05Z)
Randomized Spline Trees for Functional Data Classification: Theory and Application to Environmental Time Series [0.0]
本稿ではランダム化された関数表現をランダムフォレストフレームワークに組み込むことで2つのアプローチをブリッジする新しいアルゴリズムであるランダム化されたスプラインツリー(RST)を紹介する。 RSTは、ランダム化されたB-スプラインパラメータを用いて入力データの多様な機能表現を生成し、これらの様々な表現に基づいて訓練された決定ツリーのアンサンブルを生成する。その結果、RTTの変種は、ほとんどのデータセットで標準のランダムフォレストやグラディエントブースティングよりも優れており、分類精度は最大14%向上した。
論文参考訳（メタデータ） (2024-09-12T09:38:16Z)
Statistical Advantages of Oblique Randomized Decision Trees and Forests [3.468886360466785]
多次元モデルのフレキシブル関数クラスに対して一般化誤差境界と収束率を求める。軸方向のモンドリアン木のリスクに対する低い境界が得られ、これらの推定子は一般リッジ関数に最適であることが証明された。
論文参考訳（メタデータ） (2024-07-02T17:35:22Z)
Ensembles of Probabilistic Regression Trees [46.53457774230618]
木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
論文参考訳（メタデータ） (2024-06-20T06:51:51Z)
PhyloGFN: Phylogenetic inference with generative flow networks [57.104166650526416]
本稿では,系統学における2つの中核的問題に対処するための生成フローネットワーク(GFlowNets)の枠組みを紹介する。 GFlowNetsは複雑な構造をサンプリングするのに適しているため、木トポロジー上の多重モード後部分布を探索し、サンプリングするのに自然な選択である。我々は, 実際のベンチマークデータセット上で, 様々な, 高品質な進化仮説を生成できることを実証した。
論文参考訳（メタデータ） (2023-10-12T23:46:08Z)
Last-Iterate Convergence of Adaptive Riemannian Gradient Descent for Equilibrium Computation [52.73824786627612]
本稿では,テクスト幾何学的強単調ゲームに対する新たな収束結果を確立する。我々のキーとなる結果は、RGDがテクスト幾何学的手法で最終定位線形収束を実現することを示しています。全体として、ユークリッド設定を超えるゲームに対して、幾何学的に非依存な最終点収束解析を初めて提示する。
論文参考訳（メタデータ） (2023-06-29T01:20:44Z)
Random Forest Weighted Local Fréchet Regression with Random Objects [18.128663071848923]
本稿では,新しいランダム森林重み付き局所Fr'echet回帰パラダイムを提案する。最初の方法は、これらの重みを局所平均として、条件付きFr'echet平均を解くことである。第二の手法は局所線形Fr'echet回帰を行い、どちらも既存のFr'echet回帰法を大幅に改善した。
論文参考訳（メタデータ） (2022-02-10T09:10:59Z)
(Decision and regression) tree ensemble based kernels for regression and classification [2.28438857884398]
Breiman's random forest (RF) や Gradient Boosted Trees (GBT) のような木に基づくアンサンブルは暗黙のカーネルジェネレータとして解釈できる。連続目標に対して、RF/GBTカーネルは高次元シナリオにおいてそれぞれのアンサンブルと競合することを示す。回帰と分類のための実際のデータセットの結果を提供し、これらの洞察が実際にどのように活用されるかを示します。
論文参考訳（メタデータ） (2020-12-19T16:52:58Z)
Selective Cascade of Residual ExtraTrees [3.6575928994425735]
Selective Cascade of Residual ExtraTrees (SCORE) という,木に基づく新しいアンサンブル手法を提案する。 SCOREは表現学習からインスピレーションを受け、可変選択特徴を持つ正規化回帰を取り入れ、予測の改善と一般化誤差の低減にブーストを利用する。コンピュータ実験により、SCOREは、ExtraTrees、ランダムフォレスト、グラデーションブースティングマシン、ニューラルネットワークに対する予測において、同等または優れた性能を提供することが示された。
論文参考訳（メタデータ） (2020-09-29T16:31:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。