論文の概要: On Stopping Rules and Spatial Adaptation for CART
- arxiv url: http://arxiv.org/abs/2608.15649v1
- Date: Sun, 16 Aug 2026 09:28:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.374625
- Title: On Stopping Rules and Spatial Adaptation for CART
- Title(参考訳): CARTにおける停止規則と空間適応について
- Abstract要約: 我々は、CARTが対数係数まで最小値のポイントワイズを達成できることを証明した。
また,広く使用されている最小葉サイズ停止規則では,空間適応が達成できないことも証明した。
- 参考スコア(独自算出の注目度): 3.804240190982695
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The popular CART algorithm for regression trees combines a greedy splitting rule with a stopping rule, but while the splitting rule has been well studied, the statistical role of stopping rules is less well understood. Meanwhile, although regression trees fit using Bayesian methods or via empirical risk minimization (ERM) have been shown to be spatially adaptive to local smoothness and anisotropy, it is unknown whether CART can achieve the same adaptation. We address these gaps by proving that, under spatially heterogeneous and anisotropic smoothness and appropriate structural assumptions on the regression function and covariate distribution, CART with the minimum impurity decrease (MID) stopping rule and a suitable threshold achieves pointwise rates that are minimax up to logarithmic factors. These rates hold simultaneously over all points in the domain. Moreover, we prove that spatial adaptation cannot be achieved under the widely used minimum leaf size stopping rule. Together, these results establish a precise statistical role for the MID stopping rule and provide a theoretical basis for the empirical success of CART.
- Abstract(参考訳): 回帰木に対する一般的なCARTアルゴリズムは、グリーディ分割規則と停止規則を組み合わせるが、分割規則はよく研究されているが、停止規則の統計的役割はよく理解されていない。
一方、回帰木はベイズ法や経験的リスク最小化(ERM)によって局所的な滑らかさと異方性に空間的に適応することが示されているが、CARTが同じ適応を達成できるかどうかは不明である。
空間的に不均一で異方的な滑らかさと回帰関数と共変量分布の適切な構造仮定の下では、最小不純物減少(MID)停止則と適切なしきい値を持つCARTは、対数因子まで最小値のポイントワイズ率を達成することを証明して、これらのギャップに対処する。
これらの値は、ドメイン内のすべてのポイントに対して同時に保持される。
また,広範に使用されている最小限の葉の大きさ停止規則では,空間適応が達成できないことを証明する。
これらの結果は、MID停止規則の正確な統計的役割を確立し、CARTの実証的成功の理論的基盤を提供する。
関連論文リスト
- Characterizing Heterogeneous Rates in Finite Mixture Estimation via Partial Optimal Transport [88.55403215843967]
改良された局所および大域収束保証を得るためのボロノイ系部分最適輸送(VPOT)は、混合測定の最大極大推定器である。
結果は、混合比例が真の混合成分の数についてのゼロまたは以前の知識から一様に制限されることなく、任意の固定次元で保持される。
論文 参考訳(メタデータ) (2026-09-15T04:32:53Z) - The Role of Gradient Modification in Heavy-Tailed Nonconvex Stochastic Min-Max Optimization [50.59470683896735]
min-max最適化は、現代の機械学習に応用されているため、注目を集めている。
我々は、勾配降下(SGDA)の包括的理論を提供する。
我々は,Stoc-GDAMとStoc-TRmaxという新たなクリッピングフリーアルゴリズムを開発し,グラディエントクリッピングを使わずに,目標精度への最適依存を実現する。
論文 参考訳(メタデータ) (2026-09-05T12:49:28Z) - Convex-Hull-Neighborhood Smooth Dual Generalization: Controlling Local Correction Propagation in Offline RL [7.803284875836737]
ブートストラップは オフライン強化学習における 推定誤差を増幅する
本稿では,ベルマンのバックアップをサンプル値のターゲットとして表現し,CHN局所補正を行うConvex Hull Neborhood Smooth Dual Generalizationを提案する。
Gym-MuJoCoとAntMazeの実験は、強力な集約性能と安定した値推定を示す。
論文 参考訳(メタデータ) (2026-08-04T04:30:02Z) - SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。
完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。
本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
論文 参考訳(メタデータ) (2026-06-15T09:27:50Z) - Clipping Bottleneck: Stabilizing RLVR via Stochastic Recovery of Near-Boundary Signals [83.0127582612634]
Near-boundary Rescue (NSR) は最小限のプラグ・アンド・プレイの修正であり、失った信号を回復するために、アウト・オブ・バウンドトークンを保持する。
NSRはトレーニングの安定性を大幅に改善し、DAPOやGSPOといった強力なベースライン上で一貫したゲインを提供する。
論文 参考訳(メタデータ) (2026-05-21T16:45:31Z) - Co-optimization for Adaptive Conformal Prediction [9.881784717196675]
中心$m(x)$と半径$h(x)$を共同最適化することにより予測間隔を学習するフレームワークを提案する。
合成および実ベンチマークの実験は、CoCPが一貫して短い間隔で生成し、最先端の条件付きカバレッジ診断を実現することを示した。
論文 参考訳(メタデータ) (2026-03-02T10:43:19Z) - A Researcher's Guide to Empirical Risk Minimization [3.891921282474929]
このガイドは、経験的リスク最小化における高い確率的後悔境界の参照を提供する。
直観と一般的な証明戦略から始まり、ハイレベルな条件下で広く適用可能な保証を行う。
論文 参考訳(メタデータ) (2026-02-25T02:26:23Z) - Stability and Generalization of Push-Sum Based Decentralized Optimization over Directed Graphs [55.77845440440496]
プッシュベースの分散通信は、情報交換が非対称である可能性のある通信ネットワークの最適化を可能にする。
我々は、グラディエント・プッシュ(SGP)アルゴリズムのための統一的な一様安定性フレームワークを開発する。
重要な技術的要素は、2つの量に束縛された不均衡認識の一般化である。
論文 参考訳(メタデータ) (2026-02-24T05:32:03Z) - Covariance-Driven Regression Trees: Reducing Overfitting in CART [30.06506470737739]
回帰木に対する共分散駆動分割基準(CovRT)を導入する。
CovRTは、CARTで使用される経験的リスク最小化基準よりも、過適合に対して堅牢である。
シミュレーションと実世界の両方のタスクにおいて,CARTと比較して予測精度が優れていることがわかった。
論文 参考訳(メタデータ) (2026-01-12T07:36:18Z) - On the Variance, Admissibility, and Stability of Empirical Risk Minimization [57.63331017830154]
経験的リスク最小化(ERM: Empirical Risk Minimization)は、平均2乗誤差で最小限の最適値が得られる。
比較的軽度な仮定の下では、ERMの準最適性はその大きなバイアスによるものでなければならない。
論文 参考訳(メタデータ) (2023-05-29T15:25:48Z) - Optimally tackling covariate shift in RKHS-based nonparametric
regression [43.457497490211985]
我々は、慎重に選択された正規化パラメータを持つカーネルリッジ回帰推定器がミニマックスレート最適であることを示す。
また,関数クラスに対する経験的リスクを最小限に抑えるナイーブ推定器は,厳密に準最適であることを示す。
そこで本研究では, 再重み付きKRR推定器を提案する。
論文 参考訳(メタデータ) (2022-05-06T02:33:24Z) - Log-Likelihood Ratio Minimizing Flows: Towards Robust and Quantifiable
Neural Distribution Alignment [52.02794488304448]
そこで本研究では,対数様比統計量と正規化フローに基づく新しい分布アライメント手法を提案する。
入力領域の局所構造を保存する領域アライメントにおいて,結果の最小化を実験的に検証する。
論文 参考訳(メタデータ) (2020-03-26T22:10:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。