論文の概要: Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression

• arxiv url: http://arxiv.org/abs/2106.01682v2
• Date: Sun, 6 Jun 2021 15:26:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-08 16:14:57.572366
• Title: Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression
• Title（参考訳）: 大規模確率回帰のための確率勾配昇降機
• Authors: Olivier Sprangers, Sebastian Schelter, Maarten de Rijke
• Abstract要約: PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
• 参考スコア（独自算出の注目度）: 51.770998056563094
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gradient Boosting Machines (GBM) are hugely popular for solving tabular data problems. However, practitioners are not only interested in point predictions, but also in probabilistic predictions in order to quantify the uncertainty of the predictions. Creating such probabilistic predictions is difficult with existing GBM-based solutions: they either require training multiple models or they become too computationally expensive to be useful for large-scale settings. We propose Probabilistic Gradient Boosting Machines (PGBM), a method to create probabilistic predictions with a single ensemble of decision trees in a computationally efficient manner. PGBM approximates the leaf weights in a decision tree as a random variable, and approximates the mean and variance of each sample in a dataset via stochastic tree ensemble update equations. These learned moments allow us to subsequently sample from a specified distribution after training. We empirically demonstrate the advantages of PGBM compared to existing state-of-the-art methods: (i) PGBM enables probabilistic estimates without compromising on point performance in a single model, (ii) PGBM learns probabilistic estimates via a single model only (and without requiring multi-parameter boosting), and thereby offers a speedup of up to several orders of magnitude over existing state-of-the-art methods on large datasets, and (iii) PGBM achieves accurate probabilistic estimates in tasks with complex differentiable loss functions, such as hierarchical time series problems, where we observed up to 10% improvement in point forecasting performance and up to 300% improvement in probabilistic forecasting performance.
• Abstract（参考訳）: グラフデータ問題を解決するために、GBM(Gradient Boosting Machines)は非常に人気がある。 しかし、実践者は点予測だけでなく、予測の不確実性を定量化する確率予測にも興味を持っている。 このような確率的予測を作成することは、既存のGBMベースのソリューションでは困難である。 本稿では,決定木を単一のアンサンブルで計算効率良く確率的予測を行う手法であるpgbm(probabilistic gradient boosting machines)を提案する。 PGBMは決定木の葉重量をランダム変数として近似し、確率木アンサンブル更新方程式を用いてデータセット内の各サンプルの平均と分散を近似する。 これらの学習モーメントは、トレーニング後に特定のディストリビューションからサンプルをサンプリングすることを可能にする。 We empirically demonstrate the advantages of PGBM compared to existing state-of-the-art methods: (i) PGBM enables probabilistic estimates without compromising on point performance in a single model, (ii) PGBM learns probabilistic estimates via a single model only (and without requiring multi-parameter boosting), and thereby offers a speedup of up to several orders of magnitude over existing state-of-the-art methods on large datasets, and (iii) PGBM achieves accurate probabilistic estimates in tasks with complex differentiable loss functions, such as hierarchical time series problems, where we observed up to 10% improvement in point forecasting performance and up to 300% improvement in probabilistic forecasting performance.

関連論文リスト

• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2023-10-17T20:30:16Z)
• When Rigidity Hurts: Soft Consistency Regularization for Probabilistic Hierarchical Time Series Forecasting [69.30930115236228]
  確率的階層的時系列予測は時系列予測の重要な変種である。 ほとんどの手法は点予測に焦点を絞っており、確率的確率分布を十分に調整していない。 ProFHiTは,階層全体の予測分布を共同でモデル化する完全確率的階層予測モデルである。
  論文  参考訳（メタデータ） (2022-06-16T06:13:53Z)
• Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees [13.109852233032395]
  重み付き回帰木に対するインスタンスベース不確かさ推定法(Ibug)を提案する。 Ibugは、k-nearestトレーニングインスタンスを使用して予測に関する非パラメトリック分布を計算する。 Ibugは、以前の22のベンチマーク予測データセットと比べて、同様の、あるいはより優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2022-05-23T15:53:27Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• A Worrying Analysis of Probabilistic Time-series Models for Sales Forecasting [10.690379201437015]
  確率的時系列モデルは、不確実性の下で最適な決定を下すのに役立つため、予測分野で人気がある。 販売予測のための3つの顕著な確率的時系列モデルの性能解析を行った。
  論文  参考訳（メタデータ） (2020-11-21T03:31:23Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。