論文の概要: Convolution Smoothed Quantile Regression for XGBoost
- arxiv url: http://arxiv.org/abs/2608.15290v1
- Date: Sat, 15 Aug 2026 15:44:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.250656
- Title: Convolution Smoothed Quantile Regression for XGBoost
- Title(参考訳): XGBoostのための畳み込み平滑な量子回帰
- Abstract要約: 量子化に基づく勾配向上フレームワークであるQXGBを開発し,その内部に畳み込みスムーズな損失を導入する。
これにより、高密度累積分布関数(CDF)を構築するための条件量子化、超越確率、極端な結果に関連する尾の挙動を推定する。
その結果、畳み込みスムーズなQXGBは、ほぼゼロの量子交差、よく校正されたCDFと超過確率推定による正確な予測と、極端な値の適切な評価をもたらすことがわかった。
- 参考スコア(独自算出の注目度): 0.01274452325287335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing availability of large and complex datasets across many scientific disciplines has led to widespread adoption of machine learning (ML) for prediction. However, most ML algorithms focus on point estimation and provide limited information about predictive uncertainty or the conditional distribution of the response, restricting their ability to characterize rare or extreme outcomes. We develop QXGB, a quantile-based gradient boosting framework, and introduce a convolution smoothed loss within it that estimates conditional quantiles for constructing dense cumulative distribution functions (CDFs), exceedance probabilities, and tail behaviour relevant to extreme outcomes. This approach preserves the computational efficiency of extreme gradient boosting while restoring the Hessian information XGBoost relies on for tree splitting, in turn providing interpretable measures of extreme value and exceedance probability predictions. We derive the gradients and Hessians needed to integrate convolution smoothed quantile loss with different kernel specifications into XGBoost, and with simulated data, benchmark this approach against alternative smoothed quantile regression losses, the native quantile objective in the XGBoost Python package, and independent versus multi-output tree estimation. The practical relevance is illustrated in an application predicting fine particulate matter (PM$_{2.5}$) in northern California, including periods where levels were elevated due to wildfire smoke. Our results show that convolution smoothed QXGB, particularly when paired with multi-output trees, delivers accurate predictions with near-zero quantile crossing, well-calibrated CDF and exceedance probability estimates, and useful tail characterization for extreme values. Interval estimation is also evaluated as a measure of data spread.
- Abstract(参考訳): 多くの科学分野にわたる大規模で複雑なデータセットの可用性が向上し、予測に機械学習(ML)が広く採用されるようになった。
しかし、ほとんどのMLアルゴリズムは点推定に重点を置いており、予測の不確実性や応答の条件分布に関する限られた情報を提供し、稀な結果や極端な結果を特徴づける能力を制限する。
本研究では,QXGB,QXGBを開発した。QXGBは,高密度累積分布関数 (CDF) を構築するための条件付き量子化関数,超越確率,極端な結果に関連する尾の挙動を推定する。
このアプローチは、ヘッセン情報XGBoostを木分割に頼りながら、極端な勾配上昇の計算効率を保ち、極値と超越確率予測の解釈可能な測度を提供する。
我々は、XGBoostの異なるカーネル仕様のコンボリューションスムーズな量子化損失をXGBoostに統合するために必要な勾配とヘシアンを導出し、シミュレーションデータを用いて、代替スムーズな量子化回帰損失に対するこのアプローチ、XGBoost Pythonパッケージのネイティブな量子化目標、およびマルチアウトプットツリー推定の独立性をベンチマークする。
この実践的関連性は、北カリフォルニアの微粒子物質(PM$_{2.5}$)を予測するアプリケーションで示されており、その中には山火事の煙によってレベルが上昇した期間も含まれている。
以上の結果から, コンボリューションのスムーズなQXGB, 特に多出力木と組み合わせた場合, ほぼゼロの量子交差, 良く校正されたCDF, および超過確率推定による精度の予測, および極端な値の最適尾部推定を行うことができた。
間隔推定もデータ拡散の指標として評価される。
関連論文リスト
- Risk-Sensitive Reinforcement Learning with Smoothed Quantile Objectives [2.153824429735596]
モデルに基づく楽観的学習アルゴリズムを開発し、遷移カーネルの信頼セットと低バッファの量子化基準を用いて計画する。
チューリング時間短縮の下で, 正確な点量子化評価と, 正確な低バッファ化量子化評価がPPハードであることを証明する。
論文 参考訳(メタデータ) (2026-08-23T05:41:32Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳(メタデータ) (2024-06-05T13:36:38Z) - Uncertainty estimation of machine learning spatial precipitation predictions from satellite data [3.8623569699070353]
衛星データとゲージデータを機械学習と組み合わせることで、高解像度の降水データセットを生成する。
6つのアルゴリズムをベンチマークすることで、そのような推定を最適に行う方法のギャップに対処する。
本研究では,空間データ予測の不確かさを推定する機械学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-11-13T17:55:28Z) - Sampling from Gaussian Process Posteriors using Stochastic Gradient
Descent [43.097493761380186]
勾配アルゴリズムは線形系を解くのに有効な方法である。
最適値に収束しない場合であっても,勾配降下は正確な予測を導出することを示す。
実験的に、勾配降下は十分に大規模または不条件の回帰タスクにおいて最先端の性能を達成する。
論文 参考訳(メタデータ) (2023-06-20T15:07:37Z) - Quantile Extreme Gradient Boosting for Uncertainty Quantification [1.7685947618629572]
Extreme Gradient Boosting (XGBoost)は、最も人気のある機械学習(ML)手法の1つである。
本稿では,不確実性(QXGBoost)を推定する目的関数として,修正量子回帰を用いたXGBoostの拡張を提案する。
提案手法は, 正規および量子的光勾配向上のために生成した不確実性推定値と同等あるいは優れた性能を示した。
論文 参考訳(メタデータ) (2023-04-23T19:46:19Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2022-11-26T11:45:32Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳(メタデータ) (2022-04-02T06:32:19Z) - Learning Quantile Functions without Quantile Crossing for
Distribution-free Time Series Forecasting [12.269597033369557]
本稿では,分散フリーな分布推定フレームワークであるIncrmental (Spline) Quantile Function I(S)QFを提案する。
また、シーケンス・ツー・シーケンス・セッティングに基づく提案手法の一般化誤差解析も提供する。
論文 参考訳(メタデータ) (2021-11-12T06:54:48Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳(メタデータ) (2021-06-10T06:11:55Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - CatBoostLSS -- An extension of CatBoost to probabilistic forecasting [91.3755431537592]
本稿では,不可変応答変数の条件分布全体を予測する新しいフレームワークを提案する。
CatBoostLSSは条件平均のみではなくパラメトリック分布のすべてのモーメントをモデル化する。
提案手法の利点を実証するシミュレーション研究と実世界の実例を共に提示する。
論文 参考訳(メタデータ) (2020-01-04T15:42:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。