論文の概要: Uncertainty in Gradient Boosting via Ensembles

• arxiv url: http://arxiv.org/abs/2006.10562v4
• Date: Fri, 2 Apr 2021 09:00:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:48:29.219693
• Title: Uncertainty in Gradient Boosting via Ensembles
• Title（参考訳）: アンサンブルによる勾配ブースティングの不確かさ
• Authors: Andrey Malinin, Liudmila Prokhorenkova and Aleksei Ustimenko
• Abstract要約: 勾配促進モデルのアンサンブルは、予測された総不確実性を改善する能力に制限があるにもかかわらず、異常な入力を検出することに成功した。 本稿では,1つの勾配押し上げモデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念を提案する。
• 参考スコア（独自算出の注目度）: 37.808845398471874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For many practical, high-risk applications, it is essential to quantify uncertainty in a model's predictions to avoid costly mistakes. While predictive uncertainty is widely studied for neural networks, the topic seems to be under-explored for models based on gradient boosting. However, gradient boosting often achieves state-of-the-art results on tabular data. This work examines a probabilistic ensemble-based framework for deriving uncertainty estimates in the predictions of gradient boosting classification and regression models. We conducted experiments on a range of synthetic and real datasets and investigated the applicability of ensemble approaches to gradient boosting models that are themselves ensembles of decision trees. Our analysis shows that ensembles of gradient boosting models successfully detect anomalous inputs while having limited ability to improve the predicted total uncertainty. Importantly, we also propose a concept of a virtual ensemble to get the benefits of an ensemble via only one gradient boosting model, which significantly reduces complexity.
• Abstract（参考訳）: 多くの実用的でリスクの高いアプリケーションでは、コストのかかる間違いを避けるためにモデルの予測の不確実性を定量化することが不可欠である。 ニューラルネットワークでは予測の不確実性が広く研究されているが、勾配の上昇に基づくモデルでは、このトピックは未探索のようだ。 しかし、勾配の増大は、しばしば表データの最先端の結果をもたらす。 本研究では,勾配促進分類と回帰モデルの予測における不確実性推定を導出するための確率的アンサンブルに基づくフレームワークについて検討する。 本研究では,合成データと実データの比較実験を行い,決定木の集合である勾配ブースティングモデルに対するアンサンブルアプローチの適用性を検討した。 解析の結果,予測された全不確実性を改善する能力に限界がありながら,異常な入力を検出することができた。 重要なことに,1つの勾配促進モデルのみでアンサンブルの利点を得るための仮想アンサンブルの概念も提案する。

関連論文リスト

• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines [5.482532589225552]
  勾配ブースティングモデルのアンサンブル構築手法を提案する。 提案手法は任意の微分可能な組合せモデル上で簡単に拡張できることが示されている。
  論文  参考訳（メタデータ） (2020-10-12T21:05:45Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。