論文の概要: Variational Boosted Soft Trees

• arxiv url: http://arxiv.org/abs/2302.10706v2
• Date: Wed, 22 Feb 2023 14:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 12:09:06.974961
• Title: Variational Boosted Soft Trees
• Title（参考訳）: 変分隆起軟木
• Authors: Tristan Cinquin, Tammo Rukat, Philipp Schmidt, Martin Wistuba and Artur Bekasov
• Abstract要約: 決定木に基づくグラディエントブースティングマシン(GBM)は、回帰および分類タスクにおける最先端の結果を一貫して示す。 ソフト決定木を用いた変分推論を用いたベイズ型GBMの実装を提案する。
• 参考スコア（独自算出の注目度）: 13.956254007901675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient boosting machines (GBMs) based on decision trees consistently demonstrate state-of-the-art results on regression and classification tasks with tabular data, often outperforming deep neural networks. However, these models do not provide well-calibrated predictive uncertainties, which prevents their use for decision making in high-risk applications. The Bayesian treatment is known to improve predictive uncertainty calibration, but previously proposed Bayesian GBM methods are either computationally expensive, or resort to crude approximations. Variational inference is often used to implement Bayesian neural networks, but is difficult to apply to GBMs, because the decision trees used as weak learners are non-differentiable. In this paper, we propose to implement Bayesian GBMs using variational inference with soft decision trees, a fully differentiable alternative to standard decision trees introduced by Irsoy et al. Our experiments demonstrate that variational soft trees and variational soft GBMs provide useful uncertainty estimates, while retaining good predictive performance. The proposed models show higher test likelihoods when compared to the state-of-the-art Bayesian GBMs in 7/10 tabular regression datasets and improved out-of-distribution detection in 5/10 datasets.
• Abstract（参考訳）: 決定木に基づくグラディエントブースティングマシン(GBM)は、表データによる回帰と分類タスクにおける最先端の結果を一貫して示し、しばしばディープニューラルネットワークを上回っている。 しかし、これらのモデルは十分に調整された予測の不確実性を提供していないため、リスクの高いアプリケーションでの意思決定への使用が妨げられる。 ベイジアン処理は予測の不確実性校正を改善することが知られているが、以前提案されていたベイジアン gbm 法は計算コストが高いか粗い近似に依存する。 変分推論はベイズニューラルネットワークの実装によく用いられるが、弱い学習者として使われる決定木は微分不可能であるため、gbmsに適用するのは困難である。 本稿では,Irsoyらによって導入された標準決定木と完全に異なる代替手段であるソフト決定木を用いた変分推論を用いたベイズGBMの実装を提案する。 実験により,変動性ソフトツリーと変動性ソフトgbmは,良好な予測性能を維持しつつ,有用な不確実性推定を提供することが示された。 提案モデルでは,7/10の表型回帰データセットにおけるベイズ型gbmと比較して高いテスト可能性を示し,5/10のデータセットにおける分散外検出を改善した。

関連論文リスト

• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization [13.52611859628841]
  予測不確実性推定の観点から,ランダム化木の様々なアンサンブルを再検討し,その挙動について検討する。 BwO林と呼ばれる無作為な樹木のアンサンブルを構築するための新しい手法を提案する。 実験により,既存の樹木モデルに対するBwO林の有効性と性能について様々な状況で検証した。
  論文  参考訳（メタデータ） (2022-02-22T04:50:37Z)
• Feature Importance in Gradient Boosting Trees with Cross-Validation Feature Selection [11.295032417617454]
  偏りのある基礎学習者がグラディエント・ブースティング・マシン(GBM)の特徴的重要度(FI)測定に与える影響について検討した。 クロスバリデード(CV)非バイアスベース学習者を利用して,この欠陥を比較的低い計算コストで修正する。 提案手法を各種の合成・実世界の構成で実証し, 予測精度を比較的同等に保ちつつ, 全GBM FI尺度に有意な改善が見られた。
  論文  参考訳（メタデータ） (2021-09-12T09:32:43Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Nonparametric Variable Screening with Optimal Decision Stumps [19.493449206135296]
  単レベルCART決定木を用いた非パラメトリックモデルにおける変数選択に対する有限サンプル性能保証を導出する。 切削された基底展開を通じて各辺縁射影を直接推定しようとする従来の辺縁検定方法とは異なり、ここで用いられる適合モデルは単純で同相な決定スタンプである。
  論文  参考訳（メタデータ） (2020-11-05T06:56:12Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。