論文の概要: Benchmarking Uncertainty Disentanglement: Specialized Uncertainties for Specialized Tasks
- arxiv url: http://arxiv.org/abs/2402.19460v2
- Date: Wed, 27 Nov 2024 18:54:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 15:17:39.996965
- Title: Benchmarking Uncertainty Disentanglement: Specialized Uncertainties for Specialized Tasks
- Title(参考訳): 不確かさのベンチマーク:特定課題の特定不確実性
- Authors: Bálint Mucsányi, Michael Kirchhof, Seong Joon Oh,
- Abstract要約: 我々は、ImageNet上で、包括的不確実性推定器を再実装し、評価する。
最近の理論的な試みにも拘わらず、既存のアプローチでは実際には非絡み合う不確実性推定器のペアを提供していない。
本結果は,特定のタスクに使用する不確実性推定器の実践的アドバイスと,タスク中心および不整合不確実性に対する今後の研究の機会を明らかにするものである。
- 参考スコア(独自算出の注目度): 17.00971204252757
- License:
- Abstract: Uncertainty quantification, once a singular task, has evolved into a spectrum of tasks, including abstained prediction, out-of-distribution detection, and aleatoric uncertainty quantification. The latest goal is disentanglement: the construction of multiple estimators that are each tailored to one and only one source of uncertainty. This paper presents the first benchmark of uncertainty disentanglement. We reimplement and evaluate a comprehensive range of uncertainty estimators, from Bayesian over evidential to deterministic ones, across a diverse range of uncertainty tasks on ImageNet. We find that, despite recent theoretical endeavors, no existing approach provides pairs of disentangled uncertainty estimators in practice. We further find that specialized uncertainty tasks are harder than predictive uncertainty tasks, where we observe saturating performance. Our results provide both practical advice for which uncertainty estimators to use for which specific task, and reveal opportunities for future research toward task-centric and disentangled uncertainties. All our reimplementations and Weights & Biases logs are available at https://github.com/bmucsanyi/untangle.
- Abstract(参考訳): 不確実性定量化は、かつては特異なタスクであったが、不確実性予測、分布外検出、アレタリック不確実性定量化など、様々なタスクへと発展してきた。
最新の目標は、複数の推定器の構築であり、それぞれが1つと1つの不確実性の原因に調整されている。
本稿では,不確実性不整合の最初のベンチマークを示す。
我々は、画像ネット上の様々な不確実性タスクに対して、ベイジアンから決定論的まで、包括的不確実性推定器を再実装し、評価する。
最近の理論的な試みにも拘わらず、既存のアプローチでは実際には非絡み合う不確実性推定器のペアを提供していない。
さらに,特定の不確実性タスクは,飽和性能を観察する予測不確実性タスクよりも難しいことが判明した。
本結果は,特定のタスクに使用する不確実性推定器の実践的アドバイスと,タスク中心および不整合不確実性に対する今後の研究の機会を明らかにするものである。
再実装とWeights & Biasesログはすべてhttps://github.com/bmucsanyi/unangle.comから入手可能です。
関連論文リスト
- Uncertainty Quantification in Stereo Matching [61.73532883992135]
ステレオマッチングのための新しいフレームワークとその不確実性定量化を提案する。
我々は、不確実性と推定データの尺度としてベイズリスクを採用し、個別に不確実性をモデル化する。
我々は,不確実性の少ないデータポイントを選択することにより,予測精度を向上させるために不確実性手法を適用した。
論文 参考訳(メタデータ) (2024-12-24T23:28:20Z) - FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness [4.14360329494344]
フェアネスにおける不確実性評価のための公理的ベンチマークであるFairlyUncertainを紹介する。
我々のベンチマークは、予測の不確実性推定は学習パイプライン間で一貫性があり、観測されたランダム性に調整されるべきである、と示唆している。
論文 参考訳(メタデータ) (2024-10-02T20:15:29Z) - Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent
Representations [28.875819909902244]
不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。
既存の不確実性推定アプローチは、低次元分布仮定に依存している。
本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-25T12:22:18Z) - Model-Based Uncertainty in Value Functions [89.31922008981735]
MDP上の分布によって引き起こされる値の分散を特徴付けることに重点を置いている。
従来の作業は、いわゆる不確実性ベルマン方程式を解くことで、値よりも後方の分散を境界にしている。
我々は、解が値の真後分散に収束する新しい不確実性ベルマン方程式を提案する。
論文 参考訳(メタデータ) (2023-02-24T09:18:27Z) - A Deeper Look into Aleatoric and Epistemic Uncertainty Disentanglement [7.6146285961466]
本稿では,不整合不整合を生成する手法を一般化し,不整合不整合の定量化を行う。
本研究は,学習失語症とてんかん不確実性との間に相互作用があることを示し,失語症不確実性に対する仮定に違反していることを示す。
我々の定式化と結果は、実践者や研究者が不確実性を選択するのに役立ち、不確実性の利用を拡大するのに役立つと期待する。
論文 参考訳(メタデータ) (2022-04-20T08:41:37Z) - Bayesian autoencoders with uncertainty quantification: Towards
trustworthy anomaly detection [78.24964622317634]
本研究では, ベイズオートエンコーダ (BAEs) の定式化により, 全体の異常不確かさを定量化する。
不確実性の質を評価するために,不確実性の予測を拒否するオプションを追加して,異常を分類する作業を検討する。
本実験は,BAEと総異常不確かさが,ベンチマークデータセットと製造用実データセットのセットに与える影響を実証するものである。
論文 参考訳(メタデータ) (2022-02-25T12:20:04Z) - Dense Uncertainty Estimation via an Ensemble-based Conditional Latent
Variable Model [68.34559610536614]
我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。
そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。
以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
論文 参考訳(メタデータ) (2021-11-22T08:54:10Z) - CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。
本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。
私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
論文 参考訳(メタデータ) (2021-10-04T17:59:31Z) - Logit-based Uncertainty Measure in Classification [18.224344440110862]
我々は,ロジット不確実性と呼ばれる分類タスクに対して,新しい,信頼性が高く,不可知な不確実性尺度を導入する。
この新たな不確実性対策は,従来の課題に対する不確実性対策よりも優れた性能を示すことを示す。
論文 参考訳(メタデータ) (2021-07-06T19:07:16Z) - Exploring Uncertainty in Deep Learning for Construction of Prediction
Intervals [27.569681578957645]
深層学習における不確実性を探究し,予測区間を構築する。
不確実性ラベルなしで不確実性を学習できる特殊損失関数を設計した。
本手法は予測間隔の構成と不確実性推定とを関連付ける。
論文 参考訳(メタデータ) (2021-04-27T02:58:20Z) - Temporal Difference Uncertainties as a Signal for Exploration [76.6341354269013]
強化学習における探索の効果的なアプローチは、最適な政策に対するエージェントの不確実性に依存することである。
本稿では,評価値のバイアスや時間的に矛盾する点を強調した。
本稿では,時間差誤差の分布の導出に依存する値関数の不確かさを推定する手法を提案する。
論文 参考訳(メタデータ) (2020-10-05T18:11:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。