論文の概要: Adaptive Split Balancing for Optimal Random Forest

• arxiv url: http://arxiv.org/abs/2402.11228v1
• Date: Sat, 17 Feb 2024 09:10:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 22:37:46.893978
• Title: Adaptive Split Balancing for Optimal Random Forest
• Title（参考訳）: 最適ランダム森林における適応的スプリットバランス
• Authors: Yuqian Zhang, Weijie Ji, Jelena Bradic
• Abstract要約: データから木表現を学習できる適応型分割バランス林(ASBF)を導入する。 H"older class $mathcalHq,beta$ for any $qinmathbbN$ and $betain(0,1]$) でminimaxレートを達成するローカライズされたバージョンを提案する。
• 参考スコア（独自算出の注目度）: 10.021381302215062
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While random forests are commonly used for regression problems, existing methods often lack adaptability in complex situations or lose optimality under simple, smooth scenarios. In this study, we introduce the adaptive split balancing forest (ASBF), capable of learning tree representations from data while simultaneously achieving minimax optimality under the Lipschitz class. To exploit higher-order smoothness levels, we further propose a localized version that attains the minimax rate under the H\"older class $\mathcal{H}^{q,\beta}$ for any $q\in\mathbb{N}$ and $\beta\in(0,1]$. Rather than relying on the widely-used random feature selection, we consider a balanced modification to existing approaches. Our results indicate that an over-reliance on auxiliary randomness may compromise the approximation power of tree models, leading to suboptimal results. Conversely, a less random, more balanced approach demonstrates optimality. Additionally, we establish uniform upper bounds and explore the application of random forests in average treatment effect estimation problems. Through simulation studies and real-data applications, we demonstrate the superior empirical performance of the proposed methods over existing random forests.
• Abstract（参考訳）: ランダムフォレストは回帰問題によく用いられるが、既存の手法では複雑な状況では適応性が欠如し、単純な滑らかなシナリオでは最適性が失われることが多い。 本研究では,データから木表現を学習し,リプシッツクラスの下でミニマックス最適性を同時に達成できる適応的分割バランスフォレスト(asbf)を提案する。 高次滑らか度レベルを活用するために、任意の$q\in\mathbb{N}$および$\beta\in(0,1]$に対して、H\"older class $\mathcal{H}^{q,\beta}$の下でミニマックスレートを達成するローカライズされたバージョンを提案する。 広く使われているランダムな特徴選択に頼るのではなく、既存のアプローチに対するバランスの取れた修正を検討する。 以上の結果から, 補助的ランダム性への過度依存が木モデルの近似力を損なう可能性が示唆された。 逆に、よりランダムでバランスのとれたアプローチは最適性を示す。 さらに,一様上限を設定し,平均処理効果推定問題におけるランダム林の適用を検討する。 シミュレーション研究と実データ応用を通じて,提案手法が既存無作為林よりも優れた実証性能を示す。

関連論文リスト

• Can a Single Tree Outperform an Entire Forest? [5.448070998907116]
  一般的な考え方は、単一の決定木は、テスト精度において古典的なランダムな森林を過小評価する。 本研究では,斜め回帰木の試験精度を大幅に向上させることで,このような考え方に挑戦する。 本手法は,木習熟を非制約最適化タスクとして再編成する。
  論文  参考訳（メタデータ） (2024-11-26T00:18:18Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Inference with Mondrian Random Forests [6.97762648094816]
  我々は、モンドリアンのランダムな森林回帰推定器に対して、ベリー・エッセイン型中央極限定理とともに、正確なバイアスと分散特性を与える。 未知回帰関数に対する有効な統計的推測法を提案する。 効率的で実装可能なアルゴリズムは、バッチとオンラインの学習設定の両方に考案されている。
  論文  参考訳（メタデータ） (2023-10-15T01:41:42Z)
• bsnsing: A decision tree induction method based on recursive optimal boolean rule composition [2.28438857884398]
  本稿では,決定木帰納過程における分割規則選択を最適化するMIP(Mixed-integer Programming)の定式化を提案する。 商用の解法よりも高速に実例を解くことができる効率的な探索解法を開発した。
  論文  参考訳（メタデータ） (2022-05-30T17:13:57Z)
• On multivariate randomized classification trees: $l_0$-based sparsity, VC~dimension and decomposition methods [0.9346127431927981]
  Blanquero et alで提案された非線形連続最適化の定式化について検討する。 我々はまず、$l_0$ノルムの凹凸近似に基づいて、そのような木をスパース化する代替手法を検討する。 より大規模なデータセットを用いた実験により,提案手法は精度を損なうことなく,学習時間を著しく短縮できることが示された。
  論文  参考訳（メタデータ） (2021-12-09T22:49:08Z)
• Minimax Rates for High-Dimensional Random Tessellation Forests [0.0]
  モンドリアン林は、任意の次元でミニマックスレートが得られた最初のランダム林である。 概略分割方向を持つ多種多様なランダム林は任意の次元における最小収束率も達成できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T06:47:38Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• An Efficient Adversarial Attack for Tree Ensembles [91.05779257472675]
  傾斜促進決定木(DT)や無作為林(RF)などの木に基づくアンサンブルに対する敵対的攻撃 提案手法は,従来のMILP (Mixed-integer linear programming) よりも数千倍高速であることを示す。 私たちのコードはhttps://chong-z/tree-ensemble- attackで利用可能です。
  論文  参考訳（メタデータ） (2020-10-22T10:59:49Z)
• Stochastic Optimization Forests [60.523606291705214]
  標準的なランダムな森林アルゴリズムのように予測精度を向上させるために分割するのではなく、分割を選択した木を栽培し、下流の意思決定品質を直接最適化することで、森林決定政策の訓練方法を示す。 概略分割基準は、各候補分割に対して正確に最適化された森林アルゴリズムに近い性能を保ちながら、100倍のランニング時間を短縮できることを示す。
  論文  参考訳（メタデータ） (2020-08-17T16:56:06Z)
• Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
  様々な目的に対して最適な決定木を生成する手法を提案する。 また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2020-06-15T19:00:11Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。