論文の概要: Unstable Rankings in Bayesian Deep Learning Evaluation

• arxiv url: http://arxiv.org/abs/2604.23102v1
• Date: Sat, 25 Apr 2026 01:55:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.156872
• Title: Unstable Rankings in Bayesian Deep Learning Evaluation
• Title（参考訳）: ベイジアンディープラーニング評価における不安定なランク付け
• Authors: Qishi Zhan, Minxuan Hu, Guansu Wang, Jiaxin Liu, Liang He,
• Abstract要約: ベイズ深層学習手法の評価は, 推定値の信頼性を仮定するが, この仮定はデータ不足下では失敗することを示す。 メソッドのランキングは小さい$n$では信頼性が低いが、ポイント推定が明らかにできない方法ではデータセットに依存しない。
• 参考スコア（独自算出の注目度）: 10.891872788947298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard evaluations of Bayesian deep learning methods assume that metric estimates are reliable, but we show this assumption fails under data scarcity. Method rankings are not only unreliable at small $n$, but also dataset-dependent in ways that point estimates cannot reveal: the same method comparison yields $P(\mathrm{MCD} \prec \mathrm{Ensemble}) = 1.000$ at $n = 50$ on one dataset and remains below $0.95$ even at $n = 500$ on another. Across the datasets we consider, no universal sample size threshold exists, which is precisely why dataset-specific posterior inference is necessary. To address this, we use a Bayesian hierarchical model with method-specific variances to treat evaluation metrics as random variables across data realizations, and we use a predictive Minimum Detectable Difference curve to assess whether an observed gap would be detectable at a given training size. Across six Bayesian deep learning methods and five regression datasets, our results show that uncertainty-aware evaluation is necessary in low-data settings, because current evidence for method superiority and predictive detectability at the same training size can diverge substantially. Our framework provides practitioners with principled tools to determine whether their evaluation data is sufficient before drawing conclusions about method superiority.
• Abstract（参考訳）: ベイズディープラーニング手法の標準評価では、推定値の信頼性が前提とされているが、この仮定はデータ不足下では失敗する。 同じメソッドの比較で$P(\mathrm{MCD} \prec \mathrm{Ensemble}) = 1.000$ at $n = 50$ となる。 私たちが考えるデータセット全体にわたって、普遍的なサンプルサイズ閾値は存在しません。 これを解決するために,ベイズ階層モデルを用いて評価指標をデータ実現におけるランダム変数として扱うとともに,観測されたギャップを所定のトレーニングサイズで検出できるかどうかを予測可能な最小検出差曲線を用いて評価する。 その結果,6つのベイズ深層学習法と5つの回帰データセットにおいて,手法の優位性や予測的検出可能性に関する現在の証拠がほぼばらつきがあるため,低データ設定では不確実性を考慮した評価が不可欠であることが示唆された。 本フレームワークは,手法の優越性について結論を出す前に,評価データが十分かどうかを判断するための基本的ツールを提供する。

関連論文リスト

• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Adaptive Negative Evidential Deep Learning for Open-set Semi-supervised Learning [69.81438976273866]
  オープンセット半教師付き学習(Open-set SSL)は、ラベル付きデータ(inliers)で観測されない新しいカテゴリ(outliers)を含むラベル付きデータとテストデータを含む、より実践的なシナリオである。 本研究では,様々な不確かさを定量化するための外乱検出器として顕在的深層学習(EDL)を導入し,自己学習と推論のための異なる不確実性指標を設計する。 Inlierとoutlierの両方を含むラベルなしデータセットに適合するように、新しい適応的負の最適化戦略を提案する。
  論文  参考訳（メタデータ） (2023-03-21T09:07:15Z)
• Estimating Model Performance under Domain Shifts with Class-Specific Confidence Scores [25.162667593654206]
  不均衡なデータセットのパフォーマンス推定の枠組みの中で,クラスワイドキャリブレーションを導入する。 我々は、4つのタスクの実験を行い、提案した修正により、不均衡なデータセットの推定精度を一貫して改善する。
  論文  参考訳（メタデータ） (2022-07-20T15:04:32Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• How to Evaluate Uncertainty Estimates in Machine Learning for Regression? [1.4610038284393165]
  両手法とも,不確実性評価の品質評価には深刻な欠陥があることが示唆された。 第一に、どちらのアプローチも、予測の不確実性を共同で生み出す別個のコンポーネントを解き放つことはできない。 第3に、予測間隔を直接テストする現在のアプローチには、さらなる欠陥がある。
  論文  参考訳（メタデータ） (2021-06-07T07:47:46Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Robust Validation: Confident Predictions Even When Distributions Shift [19.327409270934474]
  本稿では,モデルが点予測ではなく,その予測に対して不確実な推定を行うような,頑健な予測推論の手順について述べる。 本稿では, トレーニング集団の周囲に$f$-divergence のボールを用いて, 任意のテスト分布に対して適切なカバレッジレベルを与える予測セットを生成する手法を提案する。 私たちの方法論の重要な構成要素は、将来のデータシフトの量を見積り、それに対する堅牢性を構築することです。
  論文  参考訳（メタデータ） (2020-08-10T17:09:16Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。