論文の概要: Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers
- arxiv url: http://arxiv.org/abs/2402.01502v1
- Date: Fri, 2 Feb 2024 15:36:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 14:39:08.441723
- Title: Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers
- Title（参考訳）: なぜランダム森林は機能するのか?
自己正規化適応型スムーサとしてのツリーアンサンブルの理解
- Authors: Alicia Curth and Alan Jeffares and Mihaela van der Schaar
- Abstract要約: 統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
- 参考スコア（独自算出の注目度）: 68.76846801719095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite their remarkable effectiveness and broad application, the drivers of
success underlying ensembles of trees are still not fully understood. In this
paper, we highlight how interpreting tree ensembles as adaptive and
self-regularizing smoothers can provide new intuition and deeper insight to
this topic. We use this perspective to show that, when studied as smoothers,
randomized tree ensembles not only make predictions that are quantifiably more
smooth than the predictions of the individual trees they consist of, but also
further regulate their smoothness at test-time based on the dissimilarity
between testing and training inputs. First, we use this insight to revisit,
refine and reconcile two recent explanations of forest success by providing a
new way of quantifying the conjectured behaviors of tree ensembles objectively
by measuring the effective degree of smoothing they imply. Then, we move beyond
existing explanations for the mechanisms by which tree ensembles improve upon
individual trees and challenge the popular wisdom that the superior performance
of forests should be understood as a consequence of variance reduction alone.
We argue that the current high-level dichotomy into bias- and
variance-reduction prevalent in statistics is insufficient to understand tree
ensembles -- because the prevailing definition of bias does not capture
differences in the expressivity of the hypothesis classes formed by trees and
forests. Instead, we show that forests can improve upon trees by three distinct
mechanisms that are usually implicitly entangled. In particular, we demonstrate
that the smoothing effect of ensembling can reduce variance in predictions due
to noise in outcome generation, reduce variability in the quality of the
learned function given fixed input data and reduce potential bias in learnable
functions by enriching the available hypothesis space.
- Abstract（参考訳）: その顕著な効果と幅広い応用にもかかわらず、樹木のアンサンブルに基づく成功の要因はまだ完全には理解されていない。
本稿では,木アンサンブルを適応的かつ自己正規化スムーサとして解釈することで,このトピックに対する新たな直観と深い洞察が得られることを示す。
この観点から,スムーザとして研究すると,ランダム化ツリーアンサンブルは,構成する個々のツリーの予測よりも定量的にスムースな予測を行うだけでなく,テストとトレーニング入力の相違度に基づいて,テスト時のスムーサネスを制御できることを示した。
まず,この知見を生かして,近年の林業成功に関する2つの説明の再検討,精錬,再検討に活用し,樹木群落の予測された挙動を客観的に定量的に定量化する方法を提案する。
次に,樹木群集が個々の樹木を改良するメカニズムに関する既存の説明を超越し,分散還元のみの結果として森林の優れた性能を理解するべきだという一般の認識に挑戦する。
偏見の定義は、木や森によって形成される仮説クラスの表現性の違いを捉えないため、統計学で広く見られる偏見と分散還元への現在の高レベル二分法は、木のアンサンブルを理解するには不十分である。
その代わりに、通常暗黙的に絡み合っている3つの異なるメカニズムによって、森林が木を改良できることを示す。
特に, センスリングの平滑化効果は, 結果生成のノイズによる予測のばらつきを低減し, 定型入力データによる学習関数の品質のばらつきを低減し, 利用可能な仮説空間を充実させることにより学習可能な関数の潜在的なバイアスを低減できることを実証する。
関連論文リスト
- Exogenous Randomness Empowering Random Forests [4.396860522241306]
平均二乗誤差(MSE)を個々の木と森林の両方に対して非漸近展開する。
以上の結果から,サブサンプリングは個々の樹木に比べて,ランダム林の偏りや分散を減少させることが明らかとなった。
ノイズ特性の存在は、ランダムな森林の性能を高める上で「祝福」として機能する。
論文 参考訳（メタデータ） (2024-11-12T05:06:10Z) - Distilling interpretable causal trees from causal forests [0.0]
条件平均処理効果の高次元分布は、正確な個々のレベルの推定を与える可能性がある。
本論文は, 原生林から1本, 解釈可能な因果樹を蒸留する方法である, 希釈因果樹を提案する。
論文 参考訳（メタデータ） (2024-08-02T05:48:15Z) - Ensembles of Probabilistic Regression Trees [46.53457774230618]
木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。
本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
論文 参考訳（メタデータ） (2024-06-20T06:51:51Z) - Identifiable Latent Neural Causal Models [82.14087963690561]
因果表現学習は、低レベルの観測データから潜伏した高レベルの因果表現を明らかにすることを目指している。
因果表現の識別可能性に寄与する分布シフトのタイプを決定する。
本稿では,本研究の成果を実用的なアルゴリズムに翻訳し,信頼性の高い潜在因果表現の取得を可能にする。
論文 参考訳（メタデータ） (2024-03-23T04:13:55Z) - Theoretical and Empirical Advances in Forest Pruning [0.0]
回帰林の精度と回帰樹の解釈可能性という両世界の最善を尽くすアプローチである森林伐採を再考する。
我々は、非常に弱い仮定の下で、未伐採林に対するラッソ伐採林の利点を証明した。
テストされたほとんどのシナリオでは、森林伐採法が1つ以上あり、原生林と同等かそれ以上の精度が得られていることがわかった。
論文 参考訳（メタデータ） (2024-01-10T20:02:47Z) - On the Pointwise Behavior of Recursive Partitioning and Its Implications
for Heterogeneous Causal Effect Estimation [8.394633341978007]
決定木学習は、ポイントワイズ推論にますます使われている。
適応決定木は、非消滅確率のノルムにおける収束の収束率を達成できないことを示す。
ランダムな森林は状況を改善することができ、貧弱な樹木をほぼ最適な手順に変えることができる。
論文 参考訳（メタデータ） (2022-11-19T21:28:30Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳（メタデータ） (2022-04-05T12:52:45Z) - Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a
Random Forest [8.513154770491898]
木深度はプロセス全体にわたって自然な正規化の形式と見なされるべきである。
特に,データの信号対雑音比が低ければ,樹木が浅いランダムな森林が有利であることが示唆された。
論文 参考訳（メタデータ） (2021-03-30T21:57:55Z) - Growing Deep Forests Efficiently with Soft Routing and Learned
Connectivity [79.83903179393164]
この論文は、いくつかの重要な側面で深い森林のアイデアをさらに拡張します。
我々は、ノードがハードバイナリ決定ではなく、確率的ルーティング決定、すなわちソフトルーティングを行う確率的ツリーを採用する。
MNISTデータセットの実験は、私たちの力のある深部森林が[1]、[3]よりも優れたまたは匹敵するパフォーマンスを達成できることを示しています。
論文 参考訳（メタデータ） (2020-12-29T18:05:05Z) - Rectified Decision Trees: Exploring the Landscape of Interpretable and
Effective Machine Learning [66.01622034708319]
我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。
我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。
次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
論文 参考訳（メタデータ） (2020-08-21T10:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。