論文の概要: A Powerful Random Forest Featuring Linear Extensions (RaFFLE)

• arxiv url: http://arxiv.org/abs/2502.10185v1
• Date: Fri, 14 Feb 2025 14:22:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:44:58.219558
• Title: A Powerful Random Forest Featuring Linear Extensions (RaFFLE)
• Title（参考訳）: リニア拡張(RaFFLE)を特徴とする強力なランダムフォレスト
• Authors: Jakob Raymaekers, Peter J. Rousseeuw, Thomas Servotte, Tim Verdonck, Ruicong Yao,
• Abstract要約: RaFFLEは、ランダムな森林アンサンブル内でPILOTツリーをベースラーナーとして統合する新しいフレームワークである。 PILOT木は、従来の決定木の計算効率と線形モデル木の柔軟性を組み合わせたものである。 RaFFLEは様々な回帰問題に対処するための汎用ツールであることが証明されている。
• 参考スコア（独自算出の注目度）: 1.2233362977312945
• License:
• Abstract: Random forests are widely used in regression. However, the decision trees used as base learners are poor approximators of linear relationships. To address this limitation we propose RaFFLE (Random Forest Featuring Linear Extensions), a novel framework that integrates the recently developed PILOT trees (Piecewise Linear Organic Trees) as base learners within a random forest ensemble. PILOT trees combine the computational efficiency of traditional decision trees with the flexibility of linear model trees. To ensure sufficient diversity of the individual trees, we introduce an adjustable regularization parameter and use node-level feature sampling. These modifications improve the accuracy of the forest. We establish theoretical guarantees for the consistency of RaFFLE under weak conditions, and its faster convergence when the data are generated by a linear model. Empirical evaluations on 136 regression datasets demonstrate that RaFFLE outperforms the classical CART and random forest methods, the regularized linear methods Lasso and Ridge, and the state-of-the-art XGBoost algorithm, across both linear and nonlinear datasets. By balancing predictive accuracy and computational efficiency, RaFFLE proves to be a versatile tool for tackling a wide variety of regression problems.
• Abstract（参考訳）: ランダム・フォレストは回帰に広く利用されている。 しかし、基礎学習者として使われる決定木は線形関係の近似に乏しい。 この制限に対処するため、最近開発されたPILOT木(Piecewise Linear Organic Trees)をランダムな森林アンサンブル内でベースラーナーとして統合する新しいフレームワークであるRaFFLE(Random Forest Featuring Linear Extensions)を提案する。 PILOT木は、従来の決定木の計算効率と線形モデル木の柔軟性を組み合わせたものである。 個々の木々の十分な多様性を確保するため、調整可能な正規化パラメータを導入し、ノードレベルの特徴サンプリングを使用する。 これらの修正により、森林の精度が向上する。 我々は、弱い条件下でのRaFFLEの整合性の理論的保証と、線形モデルによるデータ生成時の収束の高速化を確立する。 136の回帰データセットに対する実証的な評価は、RaFFLEが古典的なCART法とランダムな森林法、正規化された線形手法であるLassoとRift、そして線形および非線形両方のデータセットで最先端のXGBoostアルゴリズムより優れていることを示している。 予測精度と計算効率のバランスをとることで、RaFFLEは様々な回帰問題に取り組むための汎用ツールであることが証明された。

関連論文リスト

• Soft regression trees: a model variant and a decomposition training algorithm [0.24578723416255752]
  そこで本研究では,各入力ベクトルに対して,単一の葉ノードに関連付けられた線形回帰として定義する,ソフト多変量回帰木(SRT)の新たな変種を提案する。 SRTは条件付き計算特性、すなわち各予測は少数のノードに依存する。 15のよく知られたデータセットの実験により、従来のソフトレグレッションツリーと比較して、我々のSRTと分解アルゴリズムは高い精度とロバスト性が得られることが示された。
  論文  参考訳（メタデータ） (2025-01-10T13:06:36Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Forecasting with Hyper-Trees [50.72190208487953]
  Hyper-Treesは時系列モデルのパラメータを学習するために設計されている。 対象とする時系列モデルのパラメータを特徴に関連付けることで、Hyper-Treesはパラメータ非定常性の問題にも対処する。 この新しいアプローチでは、木はまず入力特徴から情報表現を生成し、浅いネットワークはターゲットモデルパラメータにマップする。
  論文  参考訳（メタデータ） (2024-05-13T15:22:15Z)
• Adaptive Split Balancing for Optimal Random Forest [8.916614661563893]
  そこで本研究では,新しい適応型分割バランス法を用いて木を構築するランダムフォレストアルゴリズムを提案する。 本手法は,データから木構造を適応的に学習しながら,シンプルでスムーズなシナリオで最適性を実現する。
  論文  参考訳（メタデータ） (2024-02-17T09:10:40Z)
• Heterogeneous Oblique Double Random Forest [1.2599533416395767]
  斜め決定木の性能は、斜め超平面の生成方法とそれらの超平面の生成に使用されるデータに依存する。 提案モデルでは、ブートストラップデータ上の各非リーフノードに複数の線形分類器を用い、最適線形分類器に基づいて元のデータを分割する。 実験により, 導入した異質な二重ランダム林の性能は, ベースラインモデルよりも比較的良好であることが示唆された。
  論文  参考訳（メタデータ） (2023-04-13T19:14:23Z)
• Distributional Adaptive Soft Regression Trees [0.0]
  本稿では,多変量ソフトスプリットルールを用いた分布回帰木の新しいタイプを提案する。 ソフトスプリットの大きな利点の1つは、滑らかな高次元函数を1つの木で見積もることができることである。 シミュレーションにより,アルゴリズムは優れた特性を有し,様々なベンチマーク手法より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-19T08:59:02Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• Rethinking Learnable Tree Filter for Generic Feature Transform [71.77463476808585]
  Learnable Tree Filterはセマンティックセグメンテーションのためのモデル構造保存関係に対する顕著なアプローチを示す。 幾何学的制約を緩和するために,マルコフ確率場として再構成して解析を行い,学習可能な不定項を導入する。 セマンティックセグメンテーションでは、ベルとホイッスルなしでCityscapesベンチマークでトップパフォーマンス(82.1% mIoU)を達成しています。
  論文  参考訳（メタデータ） (2020-12-07T07:16:47Z)
• MurTree: Optimal Classification Trees via Dynamic Programming and Search [61.817059565926336]
  動的プログラミングと探索に基づいて最適な分類木を学習するための新しいアルゴリズムを提案する。 当社のアプローチでは,最先端技術が必要とする時間のごく一部しか使用せず,数万のインスタンスでデータセットを処理することが可能です。
  論文  参考訳（メタデータ） (2020-07-24T17:06:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。