論文の概要: On the Pointwise Behavior of Recursive Partitioning and Its Implications
for Heterogeneous Causal Effect Estimation
- arxiv url: http://arxiv.org/abs/2211.10805v2
- Date: Sun, 9 Jul 2023 17:25:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-11 19:15:54.921224
- Title: On the Pointwise Behavior of Recursive Partitioning and Its Implications
for Heterogeneous Causal Effect Estimation
- Title（参考訳）: 再帰的分割のポイントワイズ挙動とその不均一因果効果推定への応用について
- Authors: Matias D. Cattaneo, Jason M. Klusowski, Peter M. Tian
- Abstract要約: 決定木学習は、ポイントワイズ推論にますます使われている。
適応的決定木は一様収束率を達成できないことを示す。
ランダムな森林は状況を改善することができ、貧弱な樹木をほぼ最適な手順に変えることができる。
- 参考スコア（独自算出の注目度）: 16.500749121196986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision tree learning is increasingly being used for pointwise inference.
Important applications include causal heterogenous treatment effects and
dynamic policy decisions, as well as conditional quantile regression and design
of experiments, where tree estimation and inference is conducted at specific
values of the covariates. In this paper, we call into question the use of
decision trees (trained by adaptive recursive partitioning) for such purposes
by demonstrating that they can fail to achieve polynomial rates of convergence
in uniform norm, even with pruning. Instead, the convergence may be
poly-logarithmic or, in some important special cases, such as honest regression
trees, fail completely. We show that random forests can remedy the situation,
turning poor performing trees into nearly optimal procedures, at the cost of
losing interpretability and introducing two additional tuning parameters. The
two hallmarks of random forests, subsampling and the random feature selection
mechanism, are seen to each distinctively contribute to achieving nearly
optimal performance for the model class considered.
- Abstract（参考訳）: 決定木学習は、ポイントワイズ推論にますます使われている。
重要な応用例としては、因果的不均質な治療効果や動的政策決定、条件付き質的回帰や実験の設計などがある。
本稿では,決定木(適応再帰的分割によって訓練される)が一様ノルムにおける収束率を定式化しても達成できないことを示すことで,決定木の使用を疑問視する。
代わりに、収束は多対数であるかもしれないし、正直な回帰木のようないくつかの重要な特殊ケースでは、完全に失敗する。
ランダムな森林は、樹木をほとんど最適な手順に転換し、解釈可能性を失い、さらに2つの追加のチューニングパラメータを導入することで状況を改善することができることを示す。
ランダム林の2つの特徴, サブサンプリングとランダム特徴選択機構は, それぞれが考慮されたモデルクラスに対してほぼ最適な性能を達成するのに顕著に寄与している。
関連論文リスト
- Exogenous Randomness Empowering Random Forests [4.396860522241306]
平均二乗誤差(MSE)を個々の木と森林の両方に対して非漸近展開する。
以上の結果から,サブサンプリングは個々の樹木に比べて,ランダム林の偏りや分散を減少させることが明らかとなった。
ノイズ特性の存在は、ランダムな森林の性能を高める上で「祝福」として機能する。
論文 参考訳（メタデータ） (2024-11-12T05:06:10Z) - Ensembles of Probabilistic Regression Trees [46.53457774230618]
木に基づくアンサンブル法は多くの応用や研究で回帰問題に成功している。
本研究では,確率分布に関する各領域の観察を割り当てることで,目的関数のスムーズな近似を提供する確率回帰木のアンサンブルバージョンについて検討する。
論文 参考訳（メタデータ） (2024-06-20T06:51:51Z) - Why do Random Forests Work? Understanding Tree Ensembles as
Self-Regularizing Adaptive Smoothers [68.76846801719095]
統計学で広く普及している偏りと分散還元に対する現在の高次二分法は、木のアンサンブルを理解するには不十分である、と我々は主張する。
森林は、通常暗黙的に絡み合っている3つの異なるメカニズムによって、樹木を改良できることを示す。
論文 参考訳（メタデータ） (2024-02-02T15:36:43Z) - On Uncertainty Estimation by Tree-based Surrogate Models in Sequential
Model-based Optimization [13.52611859628841]
予測不確実性推定の観点から,ランダム化木の様々なアンサンブルを再検討し,その挙動について検討する。
BwO林と呼ばれる無作為な樹木のアンサンブルを構築するための新しい手法を提案する。
実験により,既存の樹木モデルに対するBwO林の有効性と性能について様々な状況で検証した。
論文 参考訳（メタデータ） (2022-02-22T04:50:37Z) - Optimal randomized classification trees [0.0]
分類と回帰木(英: Classification and Regression Trees、CART)は、現代の統計学と機械学習における既成の技術である。
CARTはgreedyプロシージャによって構築され、分割予測変数と関連するしきい値を逐次決定する。
この強欲なアプローチは、木を非常に高速に木に分類するが、その性質上、それらの分類精度は他の最先端の手順と競合しないかもしれない。
論文 参考訳（メタデータ） (2021-10-19T11:41:12Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Convex Polytope Trees [57.56078843831244]
コンベックスポリトープ木(CPT)は、決定境界の解釈可能な一般化によって決定木の系統を拡張するために提案される。
木構造が与えられたとき,木パラメータに対するCPTおよび拡張性のあるエンドツーエンドトレーニングアルゴリズムを効率的に構築する。
論文 参考訳（メタデータ） (2020-10-21T19:38:57Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-06-15T19:00:11Z) - Multivariate Boosted Trees and Applications to Forecasting and Control [0.0]
勾配強化木は、特定の損失関数を最小限に抑えるために、逐次モデルフィッティングと勾配降下を利用する非パラメトリック回帰木である。
本稿では,多変量隆起木を適応する計算効率のよいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-03-08T19:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。