論文の概要: Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests

• arxiv url: http://arxiv.org/abs/2402.12668v1
• Date: Tue, 20 Feb 2024 02:36:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-21 17:21:25.760570
• Title: Randomization Can Reduce Both Bias and Variance: A Case Study in Random Forests
• Title（参考訳）: ランダム化はバイアスと分散の両方を減少させる--ランダム森林を事例として
• Authors: Brian Liu and Rahul Mazumder
• Abstract要約: 我々は、しばしば見落とされがちな現象について研究し、最初はカテブレイマン2001randomで指摘され、ランダムな森林は、バッグングに比べて偏見を減らしているように見える。
• 参考スコア（独自算出の注目度）: 19.553278430819308
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the often overlooked phenomenon, first noted in \cite{breiman2001random}, that random forests appear to reduce bias compared to bagging. Motivated by an interesting paper by \cite{mentch2020randomization}, where the authors argue that random forests reduce effective degrees of freedom and only outperform bagging ensembles in low signal-to-noise ratio (SNR) settings, we explore how random forests can uncover patterns in the data missed by bagging. We empirically demonstrate that in the presence of such patterns, random forests reduce bias along with variance and increasingly outperform bagging ensembles when SNR is high. Our observations offer insights into the real-world success of random forests across a range of SNRs and enhance our understanding of the difference between random forests and bagging ensembles with respect to the randomization injected into each split. Our investigations also yield practical insights into the importance of tuning $mtry$ in random forests.
• Abstract（参考訳）: 我々はしばしば見過ごされる現象について研究し、最初に \cite{breiman2001random} において、ランダムな森林は袋詰めよりもバイアスを減少させるように見えることを指摘した。 著者らは、ランダムな森林が効果的な自由度を減らし、低信号-雑音比(SNR)設定でのみバッグングアンサンブルを上回り、ランダムな森林がバッグングによって欠落したデータのパターンを明らかにする方法について考察した。 このようなパターンが存在すると、ランダムな森林はばらつきとともにバイアスを減らし、SNRが高い場合にはバッグングアンサンブルを上回ります。 我々の観察は、様々なSNRにおけるランダム林の実際の成功についての洞察を与え、各分割に注入されたランダム化に関してランダム林とバッグアンサンブルの違いの理解を深める。 我々の調査は、ランダム森林におけるmtry$のチューニングの重要性に関する実践的な洞察も得る。

関連論文リスト

• Exogenous Randomness Empowering Random Forests [4.396860522241306]
  平均二乗誤差(MSE)を個々の木と森林の両方に対して非漸近展開する。 以上の結果から,サブサンプリングは個々の樹木に比べて,ランダム林の偏りや分散を減少させることが明らかとなった。 ノイズ特性の存在は、ランダムな森林の性能を高める上で「祝福」として機能する。
  論文  参考訳（メタデータ） (2024-11-12T05:06:10Z)
• Ensembles of Probabilistic Regression Trees [46.53457774230618]
  木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。 本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T06:51:51Z)
• Grafting: Making Random Forests Consistent [0.0]
  ランダム・フォレストの理論についてはほとんど知られていない。 主要な疑問は、ランダムフォレストアルゴリズムが一貫性があるかどうかである。
  論文  参考訳（メタデータ） (2024-03-09T21:29:25Z)
• Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers [68.76846801719095]
  統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。 森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
  論文  参考訳（メタデータ） (2024-02-02T15:36:43Z)
• Neuroevolution-based Classifiers for Deforestation Detection in Tropical Forests [62.997667081978825]
  森林破壊や荒廃により、毎年何百万ヘクタールもの熱帯林が失われる。 監視・森林破壊検知プログラムは、犯罪者の予防・処罰のための公共政策に加えて、使用されている。 本稿では,熱帯林の森林破壊検出作業におけるニューロ進化技術(NEAT)に基づくパターン分類器の利用を提案する。
  論文  参考訳（メタデータ） (2022-08-23T16:04:12Z)
• Contextual Decision Trees [62.997667081978825]
  学習アンサンブルの1つの浅い木を特徴量ベースで選択するための,マルチアームのコンテキスト付きバンドレコメンデーションフレームワークを提案する。 トレーニングされたシステムはランダムフォレスト上で動作し、最終的な出力を提供するためのベース予測器を動的に識別する。
  論文  参考訳（メタデータ） (2022-07-13T17:05:08Z)
• Minimax Rates for High-Dimensional Random Tessellation Forests [0.0]
  モンドリアン林は、任意の次元でミニマックスレートが得られた最初のランダム林である。 概略分割方向を持つ多種多様なランダム林は任意の次元における最小収束率も達成できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T06:47:38Z)
• Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a Random Forest [8.513154770491898]
  木深度はプロセス全体にわたって自然な正規化の形式と見なされるべきである。 特に,データの信号対雑音比が低ければ,樹木が浅いランダムな森林が有利であることが示唆された。
  論文  参考訳（メタデータ） (2021-03-30T21:57:55Z)
• Jo-SRC: A Contrastive Approach for Combating Noisy Labels [58.867237220886885]
  Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency) というノイズロバスト手法を提案する。 具体的には、対照的な学習方法でネットワークをトレーニングする。 各サンプルの2つの異なるビューからの予測は、クリーンまたは分布不足の「可能性」を推定するために使用されます。
  論文  参考訳（メタデータ） (2021-03-24T07:26:07Z)
• Getting Better from Worse: Augmented Bagging and a Cautionary Tale of Variable Importance [6.327756363397825]
  ブラックボックス学習アルゴリズムは、最小限の事前モデル仕様で正確な予測を提供することができる。 AugBaggは、古典的な荷物やランダムな森と同じような方法で機能する手順である。 モデルに余分なノイズ変数を含むこの単純な行為は、サンプル外予測精度を劇的に向上させる可能性があることを実証する。
  論文  参考訳（メタデータ） (2020-03-07T18:35:10Z)
• Censored Quantile Regression Forest [81.9098291337097]
  我々は、検閲に適応し、データが検閲を示さないときに量子スコアをもたらす新しい推定方程式を開発する。 提案手法は, パラメトリックなモデリング仮定を使わずに, 時間単位の定量を推定することができる。
  論文  参考訳（メタデータ） (2020-01-08T23:20:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。