論文の概要: LoBoost: Fast Model-Native Local Conformal Prediction for Gradient-Boosted Trees
- arxiv url: http://arxiv.org/abs/2602.22432v1
- Date: Wed, 25 Feb 2026 21:44:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-27 18:41:22.422457
- Title: LoBoost: Fast Model-Native Local Conformal Prediction for Gradient-Boosted Trees
- Title(参考訳): LoBoost: グラディエントブーストツリーの高速モデル負局所等角予測
- Authors: Vagner Santos, Victor Coscrato, Luben Cabezas, Rafael Izbicki, Thiago Ramos,
- Abstract要約: LoBoostは、マルチスケールキャリブレーショングループを定義するために、アンサンブルの葉構造を再利用するモデルネイティブな局所共形法である。
実験では、競合するインターバル品質、ほとんどのデータセットでのテストMSEの改善、大きなキャリブレーションスピードアップが示されている。
- 参考スコア(独自算出の注目度): 3.4988194836573894
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Gradient-boosted decision trees are among the strongest off-the-shelf predictors for tabular regression, but point predictions alone do not quantify uncertainty. Conformal prediction provides distribution-free marginal coverage, yet split conformal uses a single global residual quantile and can be poorly adaptive under heteroscedasticity. Methods that improve adaptivity typically fit auxiliary nuisance models or introduce additional data splits/partitions to learn the conformal score, increasing cost and reducing data efficiency. We propose LoBoost, a model-native local conformal method that reuses the fitted ensemble's leaf structure to define multiscale calibration groups. Each input is encoded by its sequence of visited leaves; at resolution level k, we group points by matching prefixes of leaf indices across the first k trees and calibrate residual quantiles within each group. LoBoost requires no retraining, auxiliary models, or extra splitting beyond the standard train/calibration split. Experiments show competitive interval quality, improved test MSE on most datasets, and large calibration speedups.
- Abstract(参考訳): 重み付けされた決定木は、表層回帰のための最強のオフ・ザ・シェルフ予測木の一つであるが、点予測だけでは不確実性を定量化しない。
等角形予測は分布のない辺縁被覆を提供するが、分割された等角形は単一の大域的残留量子化を使い、異方性の下では適応性が劣る。
適応性を改善する方法は、典型的には補助的なニュアンスモデルに適合するか、コンフォーマルスコアを学習し、コストを増大させ、データ効率を低下させるために追加のデータ分割/分割を導入する。
マルチスケールキャリブレーション群を定義するために, アンサンブルの葉構造を再利用するモデルネイティブな局所共形法であるLoBoostを提案する。
それぞれの入力は、訪問した葉の列でエンコードされ、解像度レベル k では、最初のk木にまたがる葉の指標の接頭辞を一致させて、各グループ内の残留量子化を校正する。
LoBoostは、リトレーニング、補助モデル、または標準列車/キャリブレーションスプリット以外の余分な分割を必要としない。
実験では、競合するインターバル品質、ほとんどのデータセットでのテストMSEの改善、大きなキャリブレーションスピードアップが示されている。
関連論文リスト
- Learnable Chernoff Baselines for Inference-Time Alignment [64.81256817158851]
本稿では,指数関数的に傾いたカーネルから効率よく,およそサンプリングする方法として,Learnerable Chernoff Baselinesを紹介した。
理想的なモデルに対する全変量保証を確立し、LCBサンプリングが理想的拒絶サンプリングと密接に一致するような連続的および離散的な拡散設定を実証する。
論文 参考訳(メタデータ) (2026-02-08T00:09:40Z) - Hinge Regression Tree: A Newton Method for Oblique Regression Tree Splitting [18.562483381753804]
2つの線形予測器上での非線形最小二乗問題として分割するHynge Regression Tree(HRT)を提案する。
このノードレベルの最適化を解析し、バックトラックライン探索の変種について、局所的な目的が単調に減少し収束することを証明する。
合成および実世界のベンチマークで、HRTはよりコンパクトな構造を持つ単木ベースラインにマッチするか、より優れることを示す。
論文 参考訳(メタデータ) (2026-02-05T06:49:01Z) - From Noisy Traces to Stable Gradients: Bias-Variance Optimized Preference Optimization for Aligning Large Reasoning Models [90.45197506653341]
大規模推論モデルは最終回答を生成する前に中間的推論トレースを生成する。
LRMと人間の好みの整合性は、モデルデプロイメントにとって重要な前提条件であり、まだ過小評価されていない。
共通の回避策は1つのサンプル軌道を最適化し、トレースサンプリングからかなり勾配のばらつきをもたらす。
論文 参考訳(メタデータ) (2025-10-06T17:58:01Z) - Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。
本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。
我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
論文 参考訳(メタデータ) (2025-05-21T07:16:44Z) - Soft regression trees: a model variant and a decomposition training algorithm [0.24578723416255752]
そこで本研究では,各入力ベクトルに対して,単一の葉ノードに関連付けられた線形回帰として定義する,ソフト多変量回帰木(SRT)の新たな変種を提案する。
SRTは条件付き計算特性、すなわち各予測は少数のノードに依存する。
15のよく知られたデータセットの実験により、従来のソフトレグレッションツリーと比較して、我々のSRTと分解アルゴリズムは高い精度とロバスト性が得られることが示された。
論文 参考訳(メタデータ) (2025-01-10T13:06:36Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Adaptive Uncertainty Quantification for Generative AI [0.0]
分割コンフォーマルな推論を反映して、整合性のスコアを校正するブラックボックスアルゴリズムのラッパーを設計する。
校正セット上の適合点に頑健な回帰木を嵌合させることにより適応的分割を実現する。
従来のスプリット・コンフォーマルな推論とは異なり、適応的な分割とグループ内キャリブレーションは、局所的に拡張および縮小できる適応バンドをもたらす。
論文 参考訳(メタデータ) (2024-08-16T19:37:33Z) - Regression Trees for Fast and Adaptive Prediction Intervals [2.6763498831034043]
本稿では,局所的なカバレッジ保証を伴う回帰問題に対して,予測間隔を調整するための一連の手法を提案する。
回帰木とランダムフォレストを適合度スコアでトレーニングすることで分割を作成する。
提案手法は多種多様な適合性スコアや予測設定に適用できるため,多種多様である。
論文 参考訳(メタデータ) (2024-02-12T01:17:09Z) - Distribution-free binary classification: prediction sets, confidence
intervals and calibration [106.50279469344937]
分布自由条件における二項分類のための不確実性定量化(キャリブレーション、信頼区間、予測セット)の3つの概念について検討する。
固定幅と一様質量の両双対の双対確率に対する信頼区間を導出する。
我々の「三脚」定理の結果として、双有理確率に対するこれらの信頼区間は分布自由キャリブレーションに繋がる。
論文 参考訳(メタデータ) (2020-06-18T14:17:29Z) - Adaptive Correlated Monte Carlo for Contextual Categorical Sequence
Generation [77.7420231319632]
我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。
また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
論文 参考訳(メタデータ) (2019-12-31T03:01:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。