論文の概要: Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts

• arxiv url: http://arxiv.org/abs/2502.05157v1
• Date: Fri, 07 Feb 2025 18:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:55:24.523606
• Title: Efficient distributional regression trees learning algorithms for calibrated non-parametric probabilistic forecasts
• Title（参考訳）: 非パラメトリック確率予測の校正のための効率的な分布回帰木学習アルゴリズム
• Authors: Duchemin Quentin, Obozinski Guillaume,
• Abstract要約: 回帰の文脈では、条件平均を推定する代わりに、出力の予測間隔を生成することでこれを実現できる。 本稿では, WIS や CRPS の損失関数の確率回帰木を学習するための新しいアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The perspective of developing trustworthy AI for critical applications in science and engineering requires machine learning techniques that are capable of estimating their own uncertainty. In the context of regression, instead of estimating a conditional mean, this can be achieved by producing a predictive interval for the output, or to even learn a model of the conditional probability $p(y|x)$ of an output $y$ given input features $x$. While this can be done under parametric assumptions with, e.g. generalized linear model, these are typically too strong, and non-parametric models offer flexible alternatives. In particular, for scalar outputs, learning directly a model of the conditional cumulative distribution function of $y$ given $x$ can lead to more precise probabilistic estimates, and the use of proper scoring rules such as the weighted interval score (WIS) and the continuous ranked probability score (CRPS) lead to better coverage and calibration properties. This paper introduces novel algorithms for learning probabilistic regression trees for the WIS or CRPS loss functions. These algorithms are made computationally efficient thanks to an appropriate use of known data structures - namely min-max heaps, weight-balanced binary trees and Fenwick trees. Through numerical experiments, we demonstrate that the performance of our methods is competitive with alternative approaches. Additionally, our methods benefit from the inherent interpretability and explainability of trees. As a by-product, we show how our trees can be used in the context of conformal prediction and explain why they are particularly well-suited for achieving group-conditional coverage guarantees.
• Abstract（参考訳）: 科学と工学における重要な応用のために信頼できるAIを開発するという視点は、自身の不確実性を推定できる機械学習技術を必要とする。 回帰の文脈では、条件平均を見積もる代わりに、これは出力に対する予測間隔を生成したり、条件確率 $p(y|x)$ の入力特徴 $x$ のモデルを学ぶことで達成できる。 これはパラメトリックな仮定(例えば一般化された線形モデル)の下で行うことができるが、これらは典型的には強すぎ、非パラメトリックモデルは柔軟な代替手段を提供する。 特にスカラー出力の場合、$y$$$$x$の条件累積分布関数のモデルを直接学習するとより正確な確率的推定が得られ、重み付きインターバルスコア(WIS)やCRPS(Continuous Rank probability score)といった適切なスコアリングルールを使用することで、カバレッジとキャリブレーション特性が向上する。 本稿では, WIS や CRPS の損失関数の確率回帰木を学習するための新しいアルゴリズムを提案する。 これらのアルゴリズムは、min-maxヒープ、重み付けされたバイナリツリー、フェンウィックツリーなど、既知のデータ構造を適切に利用することにより、計算的に効率的になる。 数値実験により,提案手法の性能は代替手法と競合することを示した。 さらに,本手法は,木の本質的解釈可能性と説明可能性から恩恵を受ける。 副産物として、我々の木が共形予測の文脈でどのように使用できるかを示し、なぜこれらの木がグループ条件のカバレッジを保証するのに特に適しているのかを説明する。

関連論文リスト

• Probabilistic Scores of Classifiers, Calibration is not Enough [0.32985979395737786]
  二項分類タスクでは、確率的予測の正確な表現が実世界の様々な応用に不可欠である。 本研究では,予測スコアと真の確率分布の一致を優先するアプローチを強調した。 その結果,従来の校正基準の限界が明らかとなり,重要な意思決定のための予測モデルの信頼性を損なう可能性が示唆された。
  論文  参考訳（メタデータ） (2024-08-06T19:53:00Z)
• Treeffuser: Probabilistic Predictions via Conditional Diffusions with Gradient-Boosted Trees [39.9546129327526]
  Treeffuserは、表データの確率的予測のための使いやすい方法である。 Treeffuserはよく校正された予測分布を学習し、幅広い回帰タスクを処理できる。 Walmartの営業データを用いて、不確実性の下での在庫配分への応用について、その汎用性を実証する。
  論文  参考訳（メタデータ） (2024-06-11T18:59:24Z)
• Online non-parametric likelihood-ratio estimation by Pearson-divergence functional minimization [55.98760097296213]
  iid 観測のペア $(x_t sim p, x'_t sim q)$ が時間の経過とともに観測されるような,オンラインな非パラメトリック LRE (OLRE) のための新しいフレームワークを提案する。 本稿では,OLRE法の性能に関する理論的保証と,合成実験における実証的検証について述べる。
  論文  参考訳（メタデータ） (2023-11-03T13:20:11Z)
• Cost-sensitive probabilistic predictions for support vector machines [1.743685428161914]
  サポートベクターマシン(SVM)は広く使われており、最もよく検討され使用されている機械学習モデルの一つである。 本稿では,SVMの確率的出力を生成する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:00:17Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Distributional Gradient Boosting Machines [77.34726150561087]
  私たちのフレームワークはXGBoostとLightGBMをベースにしています。 我々は,このフレームワークが最先端の予測精度を実現することを示す。
  論文  参考訳（メタデータ） (2022-04-02T06:32:19Z)
• Consistent Sufficient Explanations and Minimal Local Rules for explaining regression and classification models [0.0]
  我々は確率的十分説明(P-SE)の概念を拡張した P-SEの要点は、同じ予測を維持する条件確率を計算することである。 我々は、$X$の分布を学ばず、予測を行うモデルも持たない非バイナリ機能に対処する。
  論文  参考訳（メタデータ） (2021-11-08T17:27:52Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Probabilistic Gradient Boosting Machines for Large-Scale Probabilistic Regression [51.770998056563094]
  PGBM(Probabilistic Gradient Boosting Machines)は、確率的予測を生成する手法である。 既存の最先端手法と比較してPGBMの利点を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-03T08:32:13Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。