論文の概要: Uncertainty-Aware Extrapolation in Bayesian Oblique Trees
- arxiv url: http://arxiv.org/abs/2601.22899v1
- Date: Fri, 30 Jan 2026 12:19:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.433349
- Title: Uncertainty-Aware Extrapolation in Bayesian Oblique Trees
- Title(参考訳): ベイズ斜方樹における不確かさを意識した外挿
- Authors: Viktor Andonovikj, Sašo Džeroski, Pavle Boškoski,
- Abstract要約: 適度に一貫性のある葉の予測は、トレーニング対象によって境界付けられ、しばしば分布シフトの下で過信される。
本稿では,各葉にGP予測器を装着することにより,VSPYCTを拡張した単木ベイズモデルを提案する。
- 参考スコア(独自算出の注目度): 0.8602553195689513
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision trees are widely used due to their interpretability and efficiency, but they struggle in regression tasks that require reliable extrapolation and well-calibrated uncertainty. Piecewise-constant leaf predictions are bounded by the training targets and often become overconfident under distribution shift. We propose a single-tree Bayesian model that extends VSPYCT by equipping each leaf with a GP predictor. Bayesian oblique splits provide uncertainty-aware partitioning of the input space, while GP leaves model local functional behaviour and enable principled extrapolation beyond the observed target range. We present an efficient inference and prediction scheme that combines posterior sampling of split parameters with \gls{gp} posterior predictions, and a gating mechanism that activates GP-based extrapolation when inputs fall outside the training support of a leaf. Experiments on benchmark regression tasks show improvements in the predictive performance compared to standard variational oblique trees, and substantial performance gains in extrapolation scenarios.
- Abstract(参考訳): 決定木は解釈可能性と効率性から広く使用されているが、信頼性の高い外挿とよく校正された不確実性を必要とする回帰作業に苦慮している。
適度に一貫性のある葉の予測は、トレーニング対象によって境界付けられ、しばしば分布シフトの下で過信される。
本稿では,各葉にGP予測器を装着することにより,VSPYCTを拡張した単木ベイズモデルを提案する。
ベイズ斜め分割は入力空間の不確実性を考慮した分割を提供するが、GPは局所的な機能的振る舞いをモデル化し、観測対象範囲を超えた原理的外挿を可能にする。
本稿では,分岐パラメータの後方サンプリングと<gls{gp} 後続予測を併用した効率的な推論と予測手法と,葉のトレーニング支援の外に入力が落ちたときにGPベースの外挿を活性化するゲーティング機構を提案する。
ベンチマーク回帰タスクの実験では、標準的な変分斜め木に比べて予測性能が向上し、外挿シナリオではかなりの性能向上が見られた。
関連論文リスト
- Locally Adaptive Conformal Inference for Operator Models [5.78532405664684]
演算子モデルに対して関数値の局所適応予測セットを生成するための分散フリーフレームワークであるLocal Sliced Conformal Inference (LSCI)を紹介する。
我々は有限サンプルの有効性を証明し、局所交換性の下でのカバレッジギャップにデータ依存の上限を導出する。
偏りのある予測や分布外雑音に対する空間を実証的に実証する。
論文 参考訳(メタデータ) (2025-07-28T16:37:56Z) - Principled Input-Output-Conditioned Post-Hoc Uncertainty Estimation for Regression Networks [1.4671424999873808]
不確実性は安全性に敏感なアプリケーションでは重要であるが、予測性能に悪影響を及ぼすため、市販のニューラルネットワークから排除されることが多い。
本稿では,従来の入力と凍結モデルの両方に補助モデルを適用することにより,回帰タスクにおけるポストホック不確実性推定のための理論的基盤となるフレームワークを提案する。
論文 参考訳(メタデータ) (2025-06-01T09:13:27Z) - Improving Random Forests by Smoothing [13.20678906714433]
カーネルベースの平滑化機構を学習されたランダムフォレストや任意の定数予測関数に適用する。
結果として得られたモデルは、基礎となるランダム森林の予測性能を一貫して改善する。
論文 参考訳(メタデータ) (2025-05-11T05:39:08Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳(メタデータ) (2022-05-27T11:13:17Z) - Distributional Gradient Boosting Machines [77.34726150561087]
私たちのフレームワークはXGBoostとLightGBMをベースにしています。
我々は,このフレームワークが最先端の予測精度を実現することを示す。
論文 参考訳(メタデータ) (2022-04-02T06:32:19Z) - On Uncertainty Estimation by Tree-based Surrogate Models in Sequential
Model-based Optimization [13.52611859628841]
予測不確実性推定の観点から,ランダム化木の様々なアンサンブルを再検討し,その挙動について検討する。
BwO林と呼ばれる無作為な樹木のアンサンブルを構築するための新しい手法を提案する。
実験により,既存の樹木モデルに対するBwO林の有効性と性能について様々な状況で検証した。
論文 参考訳(メタデータ) (2022-02-22T04:50:37Z) - Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic
Regression [51.770998056563094]
PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。
既存の最先端手法と比較してPGBMの利点を実証的に示す。
論文 参考訳(メタデータ) (2021-06-03T08:32:13Z) - Probabilistic electric load forecasting through Bayesian Mixture Density
Networks [70.50488907591463]
確率的負荷予測(PLF)は、スマートエネルギーグリッドの効率的な管理に必要な拡張ツールチェーンの重要なコンポーネントです。
ベイジアン混合密度ネットワークを枠とした新しいPLFアプローチを提案する。
後方分布の信頼性と計算にスケーラブルな推定を行うため,平均場変動推定と深層アンサンブルを統合した。
論文 参考訳(メタデータ) (2020-12-23T16:21:34Z) - Multivariate Boosted Trees and Applications to Forecasting and Control [0.0]
勾配強化木は、特定の損失関数を最小限に抑えるために、逐次モデルフィッティングと勾配降下を利用する非パラメトリック回帰木である。
本稿では,多変量隆起木を適応する計算効率のよいアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-08T19:26:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。