論文の概要: Covariance-Driven Regression Trees: Reducing Overfitting in CART

• arxiv url: http://arxiv.org/abs/2601.07281v1
• Date: Mon, 12 Jan 2026 07:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:01.267332
• Title: Covariance-Driven Regression Trees: Reducing Overfitting in CART
• Title（参考訳）: 共分散駆動回帰木:CARTにおけるオーバーフィッティングの削減
• Authors: Likun Zhang, Wei Ma,
• Abstract要約: 回帰木に対する共分散駆動分割基準(CovRT)を導入する。 CovRTは、CARTで使用される経験的リスク最小化基準よりも、過適合に対して堅牢である。 シミュレーションと実世界の両方のタスクにおいて,CARTと比較して予測精度が優れていることがわかった。
• 参考スコア（独自算出の注目度）: 30.06506470737739
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision trees are powerful machine learning algorithms, widely used in fields such as economics and medicine for their simplicity and interpretability. However, decision trees such as CART are prone to overfitting, especially when grown deep or the sample size is small. Conventional methods to reduce overfitting include pre-pruning and post-pruning, which constrain the growth of uninformative branches. In this paper, we propose a complementary approach by introducing a covariance-driven splitting criterion for regression trees (CovRT). This method is more robust to overfitting than the empirical risk minimization criterion used in CART, as it produces more balanced and stable splits and more effectively identifies covariates with true signals. We establish an oracle inequality of CovRT and prove that its predictive accuracy is comparable to that of CART in high-dimensional settings. We find that CovRT achieves superior prediction accuracy compared to CART in both simulations and real-world tasks.
• Abstract（参考訳）: 決定木は強力な機械学習アルゴリズムであり、その単純さと解釈可能性のために経済学や医学などの分野で広く使われている。 しかし、CARTなどの決定木は、特に深度やサンプルサイズが小さい場合には、過度に適合する傾向にある。 従来のオーバーフィッティングを減らす方法は、プレプルーニングとポストプルーニングであり、不定形分岐の成長を制限している。 本稿では、回帰木(CovRT)に対する共分散駆動スプリッティング基準の導入による相補的アプローチを提案する。 この方法は、CARTで使用される経験的リスク最小化基準よりも、よりバランスよく安定な分割を生成し、真の信号との共変を効果的に識別するので、オーバーフィッティングに対してより堅牢である。 我々は,CovRTのオラクル不等式を確立し,その予測精度が高次元環境でのCARTに匹敵することを示す。 シミュレーションと実世界の両方のタスクにおいて,CARTと比較して予測精度が優れていることがわかった。

関連論文リスト

• Efficient Thought Space Exploration through Strategic Intervention [54.35208611253168]
  本稿では,この知見を2つの相乗的コンポーネントを通して操作するHint-Practice Reasoning(HPR)フレームワークを提案する。 フレームワークの中核となる革新は、動的に介入点を識別する分散不整合低減(DIR)である。 算術的および常識的推論ベンチマークによる実験は、HPRの最先端の効率-精度トレードオフを実証している。
  論文  参考訳（メタデータ） (2025-11-13T07:26:01Z)
• Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix [0.5013248430919224]
  本稿では,次元間の依存関係を直接定量化する冗長指数rho(C)を導入する。 低rho(C)は高い分類精度または低い再構成誤差を確実に予測する一方、高い冗長性は性能崩壊と関連付けられる。 木構造型Parzen Estimator (TPE) は低ロー領域を優先的に探索し,rho(C) がニューラルアーキテクチャ探索を誘導し,冗長性を考慮した正規化ターゲットとして機能することを示唆する。
  論文  参考訳（メタデータ） (2025-09-08T03:36:47Z)
• Conformal Risk Minimization with Variance Reduction [37.74931189657469]
  コンフォーマル予測(CP)は、ブラックボックスモデルにおける確率的保証を達成するための分布自由フレームワークである。 最近の研究は、トレーニング中のCP効率の最適化に重点を置いている。 我々は、この概念を共形リスク最小化の問題として定式化する。
  論文  参考訳（メタデータ） (2024-11-03T21:48:15Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [57.63331017830154]
  経験的リスク最小化(ERM: Empirical Risk Minimization)は、平均2乗誤差で最小限の最適値が得られる。 比較的軽度な仮定の下では、ERMの準最適性はその大きなバイアスによるものでなければならない。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
  ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。 DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。 有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
  論文  参考訳（メタデータ） (2021-02-23T18:56:13Z)
• Unbiased Risk Estimators Can Mislead: A Case Study of Learning with Complementary Labels [92.98756432746482]
  我々は,補完ラベルを用いた学習という,弱教師付き問題を研究する。 勾配推定の品質はリスク最小化においてより重要であることを示す。 本稿では,ゼロバイアスと分散の低減を両立させる新しい補助的相補的損失(SCL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-05T04:19:37Z)
• Sparse learning with CART [18.351254916713305]
  二分木を持つ決定木は、分類木と回帰木(CART)の手法を用いて一般的に構築されている。 本稿では,CART法を用いて構築した回帰木の統計的特性について検討する。
  論文  参考訳（メタデータ） (2020-06-07T20:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。