論文の概要: Statistical Inference for Gradient Boosting Regression

• arxiv url: http://arxiv.org/abs/2509.23127v1
• Date: Sat, 27 Sep 2025 05:16:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.056238
• Title: Statistical Inference for Gradient Boosting Regression
• Title（参考訳）: グラディエントブースティング回帰の統計的推測
• Authors: Haimo Fang, Kevin Tan, Giles Hooker,
• Abstract要約: 本稿では,勾配上昇回帰における統計的勾配推定のための統一的なフレームワークを提案する。 このフレームワークは,最近提案された正規化手順とドロップアウトや並列トレーニングを統合して,強化のための中央極限定理(CLT)を実現する。 提案アルゴリズムは, 組込み信頼区間, 予測区間, 厳密な仮説テストを構築し, 変数の重要度を評価する。
• 参考スコア（独自算出の注目度）: 5.475047189434392
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient boosting is widely popular due to its flexibility and predictive accuracy. However, statistical inference and uncertainty quantification for gradient boosting remain challenging and under-explored. We propose a unified framework for statistical inference in gradient boosting regression. Our framework integrates dropout or parallel training with a recently proposed regularization procedure that allows for a central limit theorem (CLT) for boosting. With these enhancements, we surprisingly find that increasing the dropout rate and the number of trees grown in parallel at each iteration substantially enhances signal recovery and overall performance. Our resulting algorithms enjoy similar CLTs, which we use to construct built-in confidence intervals, prediction intervals, and rigorous hypothesis tests for assessing variable importance. Numerical experiments demonstrate that our algorithms perform well, interpolate between regularized boosting and random forests, and confirm the validity of their built-in statistical inference procedures.
• Abstract（参考訳）: グラディエント・ブースティングは、柔軟性と予測精度のために広く普及している。 しかし、勾配向上のための統計的推測と不確実性定量化は依然として困難であり、未解明のままである。 本稿では,勾配向上回帰における統計的推測のための統一的枠組みを提案する。 このフレームワークは,最近提案された正規化手順とドロップアウトや並列トレーニングを統合して,強化のための中央極限定理(CLT)を実現する。 これらの拡張により、各イテレーションで平行に成長する木数の増加は、信号の回復と全体的な性能を大幅に向上させる。 提案アルゴリズムは, 組込み信頼区間, 予測区間, 厳密な仮説テストを構築し, 変数の重要度を評価する。 数値実験により,本アルゴリズムはよく機能し,正規化林とランダム林の間を補間し,組み込まれた統計的推測手法の有効性を確認した。

関連論文リスト

• On the Convergence of Multicalibration Gradient Boosting [13.103291011255202]
  多重校正勾配向上のための収束保証を提供することで、二乗誤差損失を伴う回帰のギャップを埋める。 連続する予測更新の規模は$O(1/sqrtT)$で減衰し、これはラウンド上の多重校正誤差に束縛される同じ収束率を意味する。
  論文  参考訳（メタデータ） (2026-02-06T15:29:02Z)
• Bridging the Gap Between Bayesian Deep Learning and Ensemble Weather Forecasts [100.26854618129039]
  天気予報は、大気のカオス的な性質によって根本的に挑戦されている。 ベイジアンディープラーニング(BDL)の最近の進歩は、有望だがしばしば非接続な代替手段を提供する。 気象予報のための統合型BDLフレームワークにより,これらのパラダイムを橋渡しする。
  論文  参考訳（メタデータ） (2025-11-18T07:49:52Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Accelerating SGDM via Learning Rate and Batch Size Schedules: A Lyapunov-Based Analysis [7.2620484413601325]
  本研究では,動的学習速度およびバッチサイズスケジュール下での勾配降下運動量(SGDM)の収束挙動を解析した。 我々は既存の理論フレームワークを拡張し、ディープラーニングでよく使われる3つの実用的なスケジューリング戦略をカバーする。 一定のバッチサイズは期待されるノルムの収束を保証しないが、バッチサイズの増加は保証しておらず、同時にバッチサイズと学習率の増大は、確実に早く崩壊する。
  論文  参考訳（メタデータ） (2025-08-05T05:32:36Z)
• Doubly-Robust Estimation of Counterfactual Policy Mean Embeddings [24.07815507403025]
  反ファクトポリシーの下での成果の分配を推定することは、推薦、広告、医療といった領域における意思決定にとって重要である。 我々は、再生されたカーネルヒルベルト空間の反事実分布全体を表す新しいフレームワーク-Counterfactual Policy Mean Embedding (CPME) を解析する。
  論文  参考訳（メタデータ） (2025-06-03T12:16:46Z)
• RieszBoost: Gradient Boosting for Riesz Regression [49.737777802061984]
  本稿では,Riesz表現子を直接推定するために,その明示的な解析形式を必要とせず,新たな勾配向上アルゴリズムを提案する。 提案アルゴリズムは,様々な関数を対象とした間接推定手法と同等以上の性能を示す。
  論文  参考訳（メタデータ） (2025-01-08T23:04:32Z)
• Statistical Inference for Temporal Difference Learning with Linear Function Approximation [62.69448336714418]
  The statistics properties of Temporal difference learning with Polyak-Ruppert averaging。 現在の最先端の成果を改善するために,3つの重要なコントリビューションを行います。
  論文  参考訳（メタデータ） (2024-10-21T15:34:44Z)
• Max-Rank: Efficient Multiple Testing for Conformal Prediction [43.56898111853698]
  多重仮説テスト(MHT)は科学的な調査で頻繁に発生し、複数の仮説の同時テストはタイプIエラーや偽陽性のリスクを膨らませる。 本稿では、予測不確実性定量化のための柔軟なフレームワークである共形予測の文脈において、MHTに対処する。 我々は、ファミリーワイズエラー率を効率的に制御しながら依存関係を利用する新しい補正である$textttmax-rank$を紹介した。
  論文  参考訳（メタデータ） (2023-11-17T22:44:22Z)
• Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level Stability and High-Level Behavior [51.60683890503293]
  生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。 任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-07-27T04:27:26Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Uncertainty in Gradient Boosting via Ensembles [37.808845398471874]
  勾配促進モデルのアンサンブルは、予測された総不確実性を改善する能力に制限があるにもかかわらず、異常な入力を検出することに成功した。 本稿では,1つの勾配押し上げモデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念を提案する。
  論文  参考訳（メタデータ） (2020-06-18T14:11:27Z)
• Robust Boosting for Regression Problems [0.0]
  基底学習者の線形結合による回帰予測アルゴリズムの構築 このロバストなブースティングアルゴリズムは、2段階のアプローチに基づいており、ロバストな線形回帰のためにブースティングが行なわれているのと同様である。 非定型的な観測が存在しない場合、頑健な昇降法は正方形損失を伴う標準勾配昇降法と同様に機能する。
  論文  参考訳（メタデータ） (2020-02-06T01:12:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。