論文の概要: Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers
- arxiv url: http://arxiv.org/abs/2402.01502v1
- Date: Fri, 2 Feb 2024 15:36:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 14:39:08.441723
- Title: Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers
- Title(参考訳): なぜランダム森林は機能するのか?
自己正規化適応型スムーサとしてのツリーアンサンブルの理解
- Authors: Alicia Curth and Alan Jeffares and Mihaela van der Schaar
- Abstract要約: 統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
- 参考スコア(独自算出の注目度): 68.76846801719095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their remarkable effectiveness and broad application, the drivers of
success underlying ensembles of trees are still not fully understood. In this
paper, we highlight how interpreting tree ensembles as adaptive and
self-regularizing smoothers can provide new intuition and deeper insight to
this topic. We use this perspective to show that, when studied as smoothers,
randomized tree ensembles not only make predictions that are quantifiably more
smooth than the predictions of the individual trees they consist of, but also
further regulate their smoothness at test-time based on the dissimilarity
between testing and training inputs. First, we use this insight to revisit,
refine and reconcile two recent explanations of forest success by providing a
new way of quantifying the conjectured behaviors of tree ensembles objectively
by measuring the effective degree of smoothing they imply. Then, we move beyond
existing explanations for the mechanisms by which tree ensembles improve upon
individual trees and challenge the popular wisdom that the superior performance
of forests should be understood as a consequence of variance reduction alone.
We argue that the current high-level dichotomy into bias- and
variance-reduction prevalent in statistics is insufficient to understand tree
ensembles -- because the prevailing definition of bias does not capture
differences in the expressivity of the hypothesis classes formed by trees and
forests. Instead, we show that forests can improve upon trees by three distinct
mechanisms that are usually implicitly entangled. In particular, we demonstrate
that the smoothing effect of ensembling can reduce variance in predictions due
to noise in outcome generation, reduce variability in the quality of the
learned function given fixed input data and reduce potential bias in learnable
functions by enriching the available hypothesis space.
- Abstract(参考訳): その顕著な効果と幅広い応用にもかかわらず、樹木のアンサンブルに基づく成功の要因はまだ完全には理解されていない。
本稿では,木アンサンブルを適応的かつ自己正規化スムーサとして解釈することで,このトピックに対する新たな直観と深い洞察が得られることを示す。
この観点から,スムーザとして研究すると,ランダム化ツリーアンサンブルは,構成する個々のツリーの予測よりも定量的にスムースな予測を行うだけでなく,テストとトレーニング入力の相違度に基づいて,テスト時のスムーサネスを制御できることを示した。
まず,この知見を生かして,近年の林業成功に関する2つの説明の再検討,精錬,再検討に活用し,樹木群落の予測された挙動を客観的に定量的に定量化する方法を提案する。
次に,樹木群集が個々の樹木を改良するメカニズムに関する既存の説明を超越し,分散還元のみの結果として森林の優れた性能を理解するべきだという一般の認識に挑戦する。
偏見の定義は、木や森によって形成される仮説クラスの表現性の違いを捉えないため、統計学で広く見られる偏見と分散還元への現在の高レベル二分法は、木のアンサンブルを理解するには不十分である。
その代わりに、通常暗黙的に絡み合っている3つの異なるメカニズムによって、森林が木を改良できることを示す。
特に, センスリングの平滑化効果は, 結果生成のノイズによる予測のばらつきを低減し, 定型入力データによる学習関数の品質のばらつきを低減し, 利用可能な仮説空間を充実させることにより学習可能な関数の潜在的なバイアスを低減できることを実証する。
関連論文リスト
- Improving the Accuracy and Interpretability of Random Forests via Forest
Pruning [0.0]
本稿では,ランダム林の精度と決定木の解釈可能性という,両世界を最大限に活用することを目的としたポストホックアプローチを提案する。
森林伐採手法を2つ提案し, 適度な森林を適度に選抜し, 選択した樹木を1つにまとめる。
論文 参考訳(メタデータ) (2024-01-10T20:02:47Z) - Decision trees compensate for model misspecification [29.436464740855598]
本研究は,木深度が真の相互作用の欠如に果たす役割について,5つの仮説を提示する。
ツリーモデルの成功の一部は、様々な種類の誤特定に対する堅牢性によるものである。
本稿では,合成および混合応答シナリオに対処する2つの線形モデルについて述べる。
論文 参考訳(メタデータ) (2023-02-08T14:32:58Z) - On the Pointwise Behavior of Recursive Partitioning and Its Implications
for Heterogeneous Causal Effect Estimation [8.394633341978007]
決定木学習は、ポイントワイズ推論にますます使われている。
適応決定木は、非消滅確率のノルムにおける収束の収束率を達成できないことを示す。
ランダムな森林は状況を改善することができ、貧弱な樹木をほぼ最適な手順に変えることができる。
論文 参考訳(メタデータ) (2022-11-19T21:28:30Z) - Contextual Decision Trees [62.997667081978825]
学習アンサンブルの1つの浅い木を特徴量ベースで選択するための,マルチアームのコンテキスト付きバンドレコメンデーションフレームワークを提案する。
トレーニングされたシステムはランダムフォレスト上で動作し、最終的な出力を提供するためのベース予測器を動的に識別する。
論文 参考訳(メタデータ) (2022-07-13T17:05:08Z) - Robust Counterfactual Explanations for Random Forests [76.84947521482631]
本研究では,アンサンブルモデルのロバスト性とベース学習者のロバスト性との関係について検討する。
既存の手法が驚くほど低いロバスト性を与えることを示す: 単純な反事実の妥当性は、ほとんどのデータセットで50%以下である。
本手法は, 反実的説明から初期観測までの距離をわずかに増加させるだけで, 高いロバスト性を実現する。
論文 参考訳(メタデータ) (2022-05-27T17:28:54Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳(メタデータ) (2022-04-05T12:52:45Z) - Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a
Random Forest [8.513154770491898]
木深度はプロセス全体にわたって自然な正規化の形式と見なされるべきである。
特に,データの信号対雑音比が低ければ,樹木が浅いランダムな森林が有利であることが示唆された。
論文 参考訳(メタデータ) (2021-03-30T21:57:55Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳(メタデータ) (2020-12-29T18:05:05Z) - Achieving Reliable Causal Inference with Data-Mined Variables: A Random
Forest Approach to the Measurement Error Problem [1.5749416770494704]
一般的な実証的戦略は、利用可能なデータから関心のある変数を'マイニング'する予測モデリング手法の適用を含む。
最近の研究は、機械学習モデルからの予測は必然的に不完全であるため、予測変数に基づく計量分析は測定誤差によるバイアスに悩まされる可能性が高いことを強調している。
ランダムフォレストと呼ばれるアンサンブル学習技術を用いて,これらのバイアスを軽減する新しい手法を提案する。
論文 参考訳(メタデータ) (2020-12-19T21:48:23Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳(メタデータ) (2020-08-21T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。