論文の概要: Exogenous Randomness Empowering Random Forests

• arxiv url: http://arxiv.org/abs/2411.07554v1
• Date: Tue, 12 Nov 2024 05:06:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:18:04.997906
• Title: Exogenous Randomness Empowering Random Forests
• Title（参考訳）: ランダム森林を利用した外因性ランダムネス
• Authors: Tianxing Mei, Yingying Fan, Jinchi Lv,
• Abstract要約: 平均二乗誤差(MSE)を個々の木と森林の両方に対して非漸近展開する。 以上の結果から,サブサンプリングは個々の樹木に比べて,ランダム林の偏りや分散を減少させることが明らかとなった。 ノイズ特性の存在は、ランダムな森林の性能を高める上で「祝福」として機能する。
• 参考スコア（独自算出の注目度）: 4.396860522241306
• License:
• Abstract: We offer theoretical and empirical insights into the impact of exogenous randomness on the effectiveness of random forests with tree-building rules independent of training data. We formally introduce the concept of exogenous randomness and identify two types of commonly existing randomness: Type I from feature subsampling, and Type II from tie-breaking in tree-building processes. We develop non-asymptotic expansions for the mean squared error (MSE) for both individual trees and forests and establish sufficient and necessary conditions for their consistency. In the special example of the linear regression model with independent features, our MSE expansions are more explicit, providing more understanding of the random forests' mechanisms. It also allows us to derive an upper bound on the MSE with explicit consistency rates for trees and forests. Guided by our theoretical findings, we conduct simulations to further explore how exogenous randomness enhances random forest performance. Our findings unveil that feature subsampling reduces both the bias and variance of random forests compared to individual trees, serving as an adaptive mechanism to balance bias and variance. Furthermore, our results reveal an intriguing phenomenon: the presence of noise features can act as a "blessing" in enhancing the performance of random forests thanks to feature subsampling.
• Abstract（参考訳）: 本研究では,無作為林の有効性に対する外因性無作為性の影響に関する理論的,実証的な知見を提供する。 本稿では,外因性ランダム性の概念を正式に導入し,特徴サブサンプリングのタイプIと木構築プロセスのタイブブレイクのタイプIIの2種類を同定する。 本研究は,各樹林における平均二乗誤差(MSE)の非漸近的拡張を開発し,その整合性について十分な,必要な条件を定めている。 独立な特徴を持つ線形回帰モデルの特別な例では、我々のMSE拡張はより明確であり、ランダムな森林のメカニズムをより理解することができる。 また、木や森林の鮮明な一貫性を保ちながら、MSE上の上限を導出することができる。 理論的な知見に導かれて、外因性ランダム性が森林のランダムな性能をいかに向上させるかをさらに探求するシミュレーションを行う。 以上の結果から,各樹林の偏りと分散を減少させ,偏りと分散のバランスをとるための適応的機構として機能することが示唆された。 さらに, 騒音特性の存在は, 特徴サブサンプリングによるランダム林の性能向上の「祝福」として機能する, 興味深い現象を呈する。

関連論文リスト

• Ensembles of Probabilistic Regression Trees [46.53457774230618]
  木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。 本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T06:51:51Z)
• Identifiable Latent Neural Causal Models [82.14087963690561]
  因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。 因果表現の識別可能性に寄与する分布シフトのタイプを決定する。 本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
  論文  参考訳（メタデータ） (2024-03-23T04:13:55Z)
• Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests [16.55139316146852]
  我々は、しばしば見落とされがちな現象について研究し、最初はカテブレイマン2001randomで指摘され、ランダムな森林は、バッグングに比べて偏見を減らしているように見える。
  論文  参考訳（メタデータ） (2024-02-20T02:36:26Z)
• Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers [68.76846801719095]
  統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。 森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T15:36:43Z)
• On the Pointwise Behavior of Recursive Partitioning and Its Implications for Heterogeneous Causal Effect Estimation [8.394633341978007]
  決定木学習は、ポイントワイズ推論にますます使われている。 適応決定木は、非消滅確率のノルムにおける収束の収束率を達成できないことを示す。 ランダムな森林は状況を改善することができ、貧弱な樹木をほぼ最適な手順に変えることができる。
  論文  参考訳（メタデータ） (2022-11-19T21:28:30Z)
• Contextual Decision Trees [62.997667081978825]
  学習アンサンブルの1つの浅い木を特徴量ベースで選択するための,マルチアームのコンテキスト付きバンドレコメンデーションフレームワークを提案する。 トレーニングされたシステムはランダムフォレスト上で動作し、最終的な出力を提供するためのベース予測器を動的に識別する。
  論文  参考訳（メタデータ） (2022-07-13T17:05:08Z)
• FACT: High-Dimensional Random Forests Inference [4.941630596191806]
  ランダム森林学習における個々の特徴の有用性の定量化は、その解釈可能性を大幅に向上させる。 既存の研究では、ランダム森林の特徴的重要度尺度が偏見の問題に悩まされていることが示されている。 本研究では, 自己正規化特徴-残留相関テスト(FACT)の枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-04T19:05:08Z)
• What Makes Forest-Based Heterogeneous Treatment Effect Estimators Work? [1.1050303097572156]
  両手法がL2損失下で同じパラメータと共起仮定で理解可能であることを示す。 ランダム化環境では、両方のアプローチはベンチマーク研究で新しいブレンドバージョンと同様に実行された。
  論文  参考訳（メタデータ） (2022-06-21T12:45:07Z)
• Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity [79.83903179393164]
  この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。 我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。 MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
  論文  参考訳（メタデータ） (2020-12-29T18:05:05Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。