論文の概要: Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees

• arxiv url: http://arxiv.org/abs/2205.11412v1
• Date: Mon, 23 May 2022 15:53:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-24 23:33:33.637503
• Title: Instance-Based Uncertainty Estimation for Gradient-Boosted Regression Trees
• Title（参考訳）: 勾配ブースト回帰木のインスタンスベース不確かさ推定
• Authors: Jonathan Brophy and Daniel Lowd
• Abstract要約: 重み付き回帰木に対するインスタンスベース不確かさ推定法(Ibug)を提案する。 Ibugは、k-nearestトレーニングインスタンスを使用して予測に関する非パラメトリック分布を計算する。 Ibugは、以前の22のベンチマーク予測データセットと比べて、同様の、あるいはより優れたパフォーマンスを実現しています。
• 参考スコア（独自算出の注目度）: 13.109852233032395
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We propose Instance-Based Uncertainty estimation for Gradient-boosted regression trees~(IBUG), a simple method for extending any GBRT point predictor to produce probabilistic predictions. IBUG computes a non-parametric distribution around a prediction using the k-nearest training instances, where distance is measured with a tree-ensemble kernel. The runtime of IBUG depends on the number of training examples at each leaf in the ensemble, and can be improved by sampling trees or training instances. Empirically, we find that IBUG achieves similar or better performance than the previous state-of-the-art across 22 benchmark regression datasets. We also find that IBUG can achieve improved probabilistic performance by using different base GBRT models, and can more flexibly model the posterior distribution of a prediction than competing methods. We also find that previous methods suffer from poor probabilistic calibration on some datasets, which can be mitigated using a scalar factor tuned on the validation data.
• Abstract（参考訳）: 本稿では,GBRT 点予測器を拡張して確率的予測を行う簡易な手法である Gradient-boosted regression Tree (IBUG) のインスタンスベース不確実性推定法を提案する。 IBUGは、木組みカーネルで距離を計測するk-nearestトレーニングインスタンスを使用して、予測に関する非パラメトリック分布を計算する。 IBUGのランタイムは、アンサンブルの各葉におけるトレーニング例の数に依存し、ツリーのサンプリングやトレーニングインスタンスによって改善できる。 経験的に、IBUGは、以前の22のベンチマークの予測データセットと比べて、類似またはより良いパフォーマンスを達成する。 また,ibugは,異なるベースgbrtモデルを用いて,確率的性能を向上でき,予測の後方分布を競合手法よりも柔軟にモデル化できることがわかった。 また,検証データに基づいて調整されたスカラー係数を用いることで,従来の手法では一部のデータセットの確率的キャリブレーションに支障が生じた。

関連論文リスト

• A Heavy-Tailed Algebra for Probabilistic Programming [53.32246823168763]
  本稿では,確率変数の尾を解析するための体系的アプローチを提案する。 本稿では,確率型プログラミング言語コンパイラの静的解析(サンプル作成前)において,この手法をどのように利用できるかを示す。 実験結果から,重み付き代数を利用する推論アルゴリズムは,多数の密度モデリングおよび変分推論タスクにおいて優れた性能が得られることを確認した。
  論文  参考訳（メタデータ） (2023-06-15T16:37:36Z)
• Variational Inference with Coverage Guarantees in Simulation-Based Inference [18.818573945984873]
  コンフォーマル化補正ニューラル変分推論(CANVI)を提案する。 CANVIは各候補に基づいて共形予測器を構築し、予測効率と呼ばれる計量を用いて予測器を比較し、最も効率的な予測器を返す。 我々は,CANVIが生成する領域の予測効率の低い境界を証明し,その近似に基づいて,後部近似の品質と予測領域の予測効率の関係について検討する。
  論文  参考訳（メタデータ） (2023-05-23T17:24:04Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• GP-BART: a novel Bayesian additive regression trees approach using Gaussian processes [1.03590082373586]
  GP-BARTモデル(GP-BART model)は、すべての木間の各終端ノードの予測にGP先行を仮定することで制限に対処するBARTの拡張である。 モデルの有効性は、シミュレーションおよび実世界のデータへの応用を通じて実証され、様々なシナリオにおける従来のモデリング手法のパフォーマンスを上回る。
  論文  参考訳（メタデータ） (2022-04-05T11:18:44Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Imputation-Free Learning from Incomplete Observations [73.15386629370111]
  本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。 バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。 我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
  論文  参考訳（メタデータ） (2021-07-05T12:44:39Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Scalable Cross Validation Losses for Gaussian Process Models [22.204619587725208]
  線形および多クラス分類に適応するために,Polya-Gamma補助変数と変分推論を用いる。 提案手法は,高速トレーニングと優れた予測性能を実現する。
  論文  参考訳（メタデータ） (2021-05-24T21:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。