論文の概要: Evaluating Uncertainty in Deep Gaussian Processes

• arxiv url: http://arxiv.org/abs/2504.17719v1
• Date: Thu, 24 Apr 2025 16:31:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:53.464822
• Title: Evaluating Uncertainty in Deep Gaussian Processes
• Title（参考訳）: 深いガウス過程における不確かさの評価
• Authors: Matthijs van der Lende, Jeremias Lino Ferrao, Niclas Müller-Hof,
• Abstract要約: ディープ・ガウス・プロセス(DGP)とディープ・シグマ・ポイント・プロセス(DSPP)はGPを階層的に拡張し、ベイズ原理に根ざした不確実性のための有望な方法を提供する。 本研究は、回帰(CASPデータセット)および分類(ESRデータセット)タスクに関するこれらのモデルを評価し、予測性能(MAE、Accu-Racy)の評価、負対数類似度(NLL)とエラー(ECE)を用いた校正を行う。 GP法では, 測定値に特異的な感度を呈し, 測定値の精度が向上し, 測定値の精度が向上した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable uncertainty estimates are crucial in modern machine learning. Deep Gaussian Processes (DGPs) and Deep Sigma Point Processes (DSPPs) extend GPs hierarchically, offering promising methods for uncertainty quantification grounded in Bayesian principles. However, their empirical calibration and robustness under distribution shift relative to baselines like Deep Ensembles remain understudied. This work evaluates these models on regression (CASP dataset) and classification (ESR dataset) tasks, assessing predictive performance (MAE, Accu- racy), calibration using Negative Log-Likelihood (NLL) and Expected Calibration Error (ECE), alongside robustness under various synthetic feature-level distribution shifts. Results indicate DSPPs provide strong in-distribution calibration leveraging their sigma point approximations. However, compared to Deep Ensembles, which demonstrated superior robustness in both per- formance and calibration under the tested shifts, the GP-based methods showed vulnerabilities, exhibiting particular sensitivity in the observed metrics. Our findings underscore ensembles as a robust baseline, suggesting that while deep GP methods offer good in-distribution calibration, their practical robustness under distribution shift requires careful evaluation. To facilitate reproducibility, we make our code available at https://github.com/matthjs/xai-gp.
• Abstract（参考訳）: 信頼性の高い不確実性推定は、現代の機械学習において不可欠である。 ディープ・ガウス・プロセス(DGP)とディープ・シグマ・ポイント・プロセス(DSPP)はGPを階層的に拡張し、ベイズ原理に基づく不確実性定量化のための有望な方法を提供する。 しかし、Deep Ensemblesのようなベースラインに対する分布シフトの下での実験的なキャリブレーションとロバスト性は、まだ検討されていない。 本研究は、回帰(CASPデータセット)と分類(ESRデータセット)のタスク、予測性能(MAE, Accu-racy)の評価、負対数類似度(NLL)と期待校正誤差(ECE)を用いた校正、および様々な合成特徴レベルの分散シフト下での堅牢性について評価する。 その結果,DSPPsはSigma点近似を有効活用し,高い分布分布のキャリブレーションを提供することがわかった。 しかし, GP法では, 測定値に特異的な感度が認められた。 以上の結果から, GP法は配電量調整に優れるが, 分布シフト下での実用的ロバスト性には注意を要することが示唆された。 再現性を促進するため、私たちはhttps://github.com/matthjs/xai-gp.comでコードを公開しています。

関連論文リスト

• On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
  勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。 本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。 本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-12-27T20:29:47Z)
• Alpha-VI DeepONet: A prior-robust variational Bayesian approach for enhancing DeepONets with uncertainty quantification [0.0]
  一般化変分推論(GVI)を組み込んだ新しいディープオペレータネットワーク(DeepONet)を提案する。 分岐ネットワークとトランクネットワークのビルディングブロックとしてベイズニューラルネットワークを組み込むことで,不確実な定量化が可能なDeepONetを実現する。 変動目的関数の修正は平均二乗誤差を最小化する点で優れた結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-08-01T16:22:03Z)
• Towards Robust and Interpretable EMG-based Hand Gesture Recognition using Deep Metric Meta Learning [37.21211404608413]
  本稿では,意味的かつ解釈可能な表現の作成を監督するために,EMG PRにおける深層メートル法メタラーニングへのシフトを提案する。 我々は、不正確な決定をよりよく拒否する頑健なクラス近接性に基づく信頼度推定器を導出する。
  論文  参考訳（メタデータ） (2024-04-17T23:37:50Z)
• Deep Discriminative to Kernel Density Graph for In- and Out-of-distribution Calibrated Inference [7.840433908659846]
  ランダムフォレストやディープニューラルネットワークのような深い差別的アプローチは、最近、多くの重要な現実世界のシナリオで応用を見出した。 しかし、これらの学習アルゴリズムを安全クリティカルなアプリケーションにデプロイすることは、特に、配布内および配布外の両方のデータポイントの信頼性校正を確実にする際の懸念を提起する。 本稿では,IDとOODの校正問題を共同で解決する。
  論文  参考訳（メタデータ） (2022-01-31T05:07:16Z)
• Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
  そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。 PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
  論文  参考訳（メタデータ） (2022-01-26T19:59:14Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Adversarial Robustness Guarantees for Gaussian Processes [22.403365399119107]
  ガウス過程(GP)は、モデルの不確実性の原理的計算を可能にし、安全性に重要なアプリケーションに魅力的です。 境界付き摂動に対するモデル決定の不変性として定義されるGPの対向的堅牢性を分析するためのフレームワークを提案する。 我々は境界を洗練し、任意の$epsilon > 0$に対して、我々のアルゴリズムが有限個の反復で実際の値に$epsilon$-closeの値に収束することを保証していることを示す分岐とバウンドのスキームを開発する。
  論文  参考訳（メタデータ） (2021-04-07T15:14:56Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)
• Deep Sigma Point Processes [22.5396672566053]
  ディープガウス過程(DGP)の構成構造から着想を得たパラメトリックモデルのクラスを導入する。 ディープシグマポイントプロセス(DSPP)は、カーネル基底関数によって制御されるミニバッチトレーニングや予測不確実性を含む、(可変)DGPの魅力的な特徴の多くを保持している。
  論文  参考訳（メタデータ） (2020-02-21T03:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。