論文の概要: Statistical Inference for Gradient Boosting Regression

• arxiv url: http://arxiv.org/abs/2509.23127v1
• Date: Sat, 27 Sep 2025 05:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.056238
• Title: Statistical Inference for Gradient Boosting Regression
• Title（参考訳）: グラディエントブースティング回帰の統計的推測
• Authors: Haimo Fang, Kevin Tan, Giles Hooker,
• Abstract要約: 本稿では,勾配上昇回帰における統計的勾配推定のための統一的なフレームワークを提案する。 このフレームワークは,最近提案された正規化手順とドロップアウトや並列トレーニングを統合して,強化のための中央極限定理(CLT)を実現する。 提案アルゴリズムは, 組込み信頼区間, 予測区間, 厳密な仮説テストを構築し, 変数の重要度を評価する。
• 参考スコア（独自算出の注目度）: 5.475047189434392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient boosting is widely popular due to its flexibility and predictive accuracy. However, statistical inference and uncertainty quantification for gradient boosting remain challenging and under-explored. We propose a unified framework for statistical inference in gradient boosting regression. Our framework integrates dropout or parallel training with a recently proposed regularization procedure that allows for a central limit theorem (CLT) for boosting. With these enhancements, we surprisingly find that increasing the dropout rate and the number of trees grown in parallel at each iteration substantially enhances signal recovery and overall performance. Our resulting algorithms enjoy similar CLTs, which we use to construct built-in confidence intervals, prediction intervals, and rigorous hypothesis tests for assessing variable importance. Numerical experiments demonstrate that our algorithms perform well, interpolate between regularized boosting and random forests, and confirm the validity of their built-in statistical inference procedures.
• Abstract（参考訳）: グラディエント・ブースティングは、柔軟性と予測精度のために広く普及している。 しかし、勾配向上のための統計的推測と不確実性定量化は依然として困難であり、未解明のままである。 本稿では,勾配向上回帰における統計的推測のための統一的枠組みを提案する。 このフレームワークは,最近提案された正規化手順とドロップアウトや並列トレーニングを統合して,強化のための中央極限定理(CLT)を実現する。 これらの拡張により、各イテレーションで平行に成長する木数の増加は、信号の回復と全体的な性能を大幅に向上させる。 提案アルゴリズムは, 組込み信頼区間, 予測区間, 厳密な仮説テストを構築し, 変数の重要度を評価する。 数値実験により,本アルゴリズムはよく機能し,正規化林とランダム林の間を補間し,組み込まれた統計的推測手法の有効性を確認した。

関連論文リスト

• Doubly-Robust Estimation of Counterfactual Policy Mean Embeddings [24.07815507403025]
  反ファクトポリシーの下での成果の分配を推定することは、推薦、広告、医療といった領域における意思決定にとって重要である。 我々は、再生されたカーネルヒルベルト空間の反事実分布全体を表す新しいフレームワーク-Counterfactual Policy Mean Embedding (CPME) を解析する。
  論文  参考訳（メタデータ） (2025-06-03T12:16:46Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 現在の最先端の成果を改善するために,3つの重要なコントリビューションを行います。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Max-Rank: Efficient Multiple Testing for Conformal Prediction [43.56898111853698]
  多重仮説テスト(MHT)は科学的な調査で頻繁に発生し、複数の仮説の同時テストはタイプIエラーや偽陽性のリスクを膨らませる。 本稿では、予測不確実性定量化のための柔軟なフレームワークである共形予測の文脈において、MHTに対処する。 我々は、ファミリーワイズエラー率を効率的に制御しながら依存関係を利用する新しい補正である$textttmax-rank$を紹介した。
  論文  参考訳（メタデータ） (2023-11-17T22:44:22Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Uncertainty in Gradient Boosting via Ensembles [37.808845398471874]
  勾配促進モデルのアンサンブルは、予測された総不確実性を改善する能力に制限があるにもかかわらず、異常な入力を検出することに成功した。 本稿では,1つの勾配押し上げモデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念を提案する。
  論文  参考訳（メタデータ） (2020-06-18T14:11:27Z)
• Robust Boosting for Regression Problems [0.0]
  基底学習者の線形結合による回帰予測アルゴリズムの構築 このロバストなブースティングアルゴリズムは、2段階のアプローチに基づいており、ロバストな線形回帰のためにブースティングが行なわれているのと同様である。 非定型的な観測が存在しない場合、頑健な昇降法は正方形損失を伴う標準勾配昇降法と同様に機能する。
  論文  参考訳（メタデータ） (2020-02-06T01:12:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。