論文の概要: Quantile Extreme Gradient Boosting for Uncertainty Quantification
- arxiv url: http://arxiv.org/abs/2304.11732v1
- Date: Sun, 23 Apr 2023 19:46:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 16:46:58.981570
- Title: Quantile Extreme Gradient Boosting for Uncertainty Quantification
- Title（参考訳）: 不確実性定量化のための量子性極勾配促進
- Authors: Xiaozhe Yin, Masoud Fallah-Shorshani, Rob McConnell, Scott Fruin,
Yao-Yi Chiang, Meredith Franklin
- Abstract要約: Extreme Gradient Boosting (XGBoost)は、最も人気のある機械学習(ML)手法の1つである。
本稿では,不確実性(QXGBoost)を推定する目的関数として,修正量子回帰を用いたXGBoostの拡張を提案する。
提案手法は, 正規および量子的光勾配向上のために生成した不確実性推定値と同等あるいは優れた性能を示した。
- 参考スコア（独自算出の注目度）: 1.7685947618629572
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the availability, size and complexity of data have increased in recent
years, machine learning (ML) techniques have become popular for modeling.
Predictions resulting from applying ML models are often used for inference,
decision-making, and downstream applications. A crucial yet often overlooked
aspect of ML is uncertainty quantification, which can significantly impact how
predictions from models are used and interpreted.
Extreme Gradient Boosting (XGBoost) is one of the most popular ML methods
given its simple implementation, fast computation, and sequential learning,
which make its predictions highly accurate compared to other methods. However,
techniques for uncertainty determination in ML models such as XGBoost have not
yet been universally agreed among its varying applications. We propose
enhancements to XGBoost whereby a modified quantile regression is used as the
objective function to estimate uncertainty (QXGBoost). Specifically, we
included the Huber norm in the quantile regression model to construct a
differentiable approximation to the quantile regression error function. This
key step allows XGBoost, which uses a gradient-based optimization algorithm, to
make probabilistic predictions efficiently.
QXGBoost was applied to create 90\% prediction intervals for one simulated
dataset and one real-world environmental dataset of measured traffic noise. Our
proposed method had comparable or better performance than the uncertainty
estimates generated for regular and quantile light gradient boosting. For both
the simulated and traffic noise datasets, the overall performance of the
prediction intervals from QXGBoost were better than other models based on
coverage width-based criterion.
- Abstract（参考訳）: 近年、データの可用性、サイズ、複雑さが増大しているため、機械学習(ML)技術はモデリングに人気がある。
MLモデルを適用した予測は、しばしば推論、意思決定、下流アプリケーションに使用される。
MLの重要かつしばしば見落とされがちな側面は不確実な定量化であり、モデルからの予測の使用や解釈方法に大きな影響を与える可能性がある。
xgboost (extreme gradient boosting) は、単純な実装、高速計算、シーケンシャル・ラーニングにより、他の手法と比較して高い精度で予測されるml手法の1つである。
しかしながら、XGBoostのようなMLモデルにおける不確実性判定技術は、その様々な用途で広く合意されていない。
本稿では,不確実性(QXGBoost)を推定する目的関数として,修正量子回帰を用いたXGBoostの拡張を提案する。
具体的には、分位回帰モデルにフーバーノルムを組み込んで、分位回帰誤差関数の微分可能な近似を構築した。
このキーステップにより、勾配に基づく最適化アルゴリズムを使用するXGBoostは、確率的予測を効率的に行うことができる。
qxgboostは、1つのシミュレーションデータセットと1つの実世界の交通騒音の予測間隔を90\%生成するために適用された。
提案手法は, 定位および定位光勾配ブースティングで発生する不確実性推定値と同等あるいは良好な性能を示した。
QXGBoostの予測間隔の全体性能は,シミュレーションとトラフィックノイズデータセットの両方において,範囲幅に基づく基準に基づく他のモデルよりも優れていた。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Gradient-free variational learning with conditional mixture networks [39.827869318925494]
条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。
UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。
提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
論文 参考訳（メタデータ） (2024-08-29T10:43:55Z) - Bayesian Deep Learning for Remaining Useful Life Estimation via Stein
Variational Gradient Descent [14.784809634505903]
本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。
ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
論文 参考訳（メタデータ） (2024-02-02T02:21:06Z) - Beyond mirkwood: Enhancing SED Modeling with Conformal Predictions [0.0]
SEDフィッティングにおける柔軟性と不確実性を向上する,高度な機械学習ベースのアプローチを提案する。
我々は、整合化量子レグレッションを組み込んで、点予測をエラーバーに変換し、解釈可能性と信頼性を向上させる。
論文 参考訳（メタデータ） (2023-12-21T11:27:20Z) - Model-Based Reparameterization Policy Gradient Methods: Theory and
Practical Algorithms [88.74308282658133]
Reization (RP) Policy Gradient Methods (PGM) は、ロボット工学やコンピュータグラフィックスにおける連続的な制御タスクに広く採用されている。
近年の研究では、長期強化学習問題に適用した場合、モデルベースRP PGMはカオス的かつ非滑らかな最適化環境を経験する可能性があることが示されている。
本稿では,長期モデルアンロールによる爆発的分散問題を緩和するスペクトル正規化法を提案する。
論文 参考訳（メタデータ） (2023-10-30T18:43:21Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳（メタデータ） (2021-06-07T17:44:49Z) - Flexible Model Aggregation for Quantile Regression [92.63075261170302]
量子回帰は、予測の不確実性を定量化する必要性によって動機付けられた統計学習の基本的な問題である。
条件付き量子モデルの任意の数を集約する手法について検討する。
この論文で検討するモデルはすべて、現代のディープラーニングツールキットに適合します。
論文 参考訳（メタデータ） (2021-02-26T23:21:16Z) - Causal Gradient Boosting: Boosted Instrumental Variable Regression [2.831053006774813]
本稿では,従来の勾配押し上げアルゴリズムに基づいて内在性バイアスを補正するBoostIVというアルゴリズムを提案する。
私たちのアプローチはデータ駆動です。つまり、研究者はターゲット関数の近似や楽器の選択の形でもスタンスを作らなくてもよいのです。
boostIVは既存の方法と同等に最悪であり、平均するとそれらの方法よりもはるかに優れています。
論文 参考訳（メタデータ） (2021-01-15T11:54:25Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z) - Gaussian Process Boosting [13.162429430481982]
ガウス過程と混合効果モデルを組み合わせた新しい手法を提案する。
シミュレーションおよび実世界のデータセットに対する既存手法と比較して予測精度が向上する。
論文 参考訳（メタデータ） (2020-04-06T13:19:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。