論文の概要: ValUES: A Framework for Systematic Validation of Uncertainty Estimation
in Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2401.08501v1
- Date: Tue, 16 Jan 2024 17:02:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 19:01:38.799898
- Title: ValUES: A Framework for Systematic Validation of Uncertainty Estimation
in Semantic Segmentation
- Title(参考訳): ValUES:セマンティックセグメンテーションにおける不確実性推定の体系的検証のためのフレームワーク
- Authors: Kim-Celine Kahl, Carsten T. L\"uth, Maximilian Zenk, Klaus Maier-Hein,
Paul F. Jaeger
- Abstract要約: 不確実性推定は、セマンティックセグメンテーション法において不可欠で研究の難しい要素である。
データ関連とモデル関連の不確実性は実際に分離できるのか?
不確実性手法のどのコンポーネントが現実世界のパフォーマンスに欠かせないのか?
- 参考スコア(独自算出の注目度): 1.3709999596792268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty estimation is an essential and heavily-studied component for the
reliable application of semantic segmentation methods. While various studies
exist claiming methodological advances on the one hand, and successful
application on the other hand, the field is currently hampered by a gap between
theory and practice leaving fundamental questions unanswered: Can data-related
and model-related uncertainty really be separated in practice? Which components
of an uncertainty method are essential for real-world performance? Which
uncertainty method works well for which application? In this work, we link this
research gap to a lack of systematic and comprehensive evaluation of
uncertainty methods. Specifically, we identify three key pitfalls in current
literature and present an evaluation framework that bridges the research gap by
providing 1) a controlled environment for studying data ambiguities as well as
distribution shifts, 2) systematic ablations of relevant method components, and
3) test-beds for the five predominant uncertainty applications: OoD-detection,
active learning, failure detection, calibration, and ambiguity modeling.
Empirical results on simulated as well as real-world data demonstrate how the
proposed framework is able to answer the predominant questions in the field
revealing for instance that 1) separation of uncertainty types works on
simulated data but does not necessarily translate to real-world data, 2)
aggregation of scores is a crucial but currently neglected component of
uncertainty methods, 3) While ensembles are performing most robustly across the
different downstream tasks and settings, test-time augmentation often
constitutes a light-weight alternative. Code is at:
https://github.com/IML-DKFZ/values
- Abstract(参考訳): 不確実性推定は,セマンティックセグメンテーション手法の信頼性向上に不可欠な要素である。
一方、方法論の進歩を主張する様々な研究や、その一方では成功した応用が存在しているが、その分野は現在、理論と実践のギャップによって妨げられている。
不確実性メソッドのどのコンポーネントが現実世界のパフォーマンスに不可欠か?
どの適用に不確実性があるか?
本研究では,この研究ギャップを,不確実性評価の体系的かつ包括的評価の欠如と結びつける。
具体的には,現在の文献における3つの落とし穴を特定し,研究ギャップを埋めるための評価枠組みを提案する。
1)データのあいまいさや分布変化を研究するための制御環境。
2 関連する方法部品の系統的アブレーション、及び
3) OoD検出, 能動学習, 故障検出, 校正, 曖昧性モデリングの5つの主要な不確実性アプリケーションに対するテストベッド。
シミュレーションおよび実世界のデータに関する実証的な結果は、提案フレームワークが、例えば、この分野における主要な疑問にどのように答えられるかを示している。
1)不確実性型の分離はシミュレーションデータに作用するが、必ずしも現実世界のデータに変換されない。
2) スコアの集計は重要ではあるが, 不確実性の要素として無視されている。
3) アンサンブルは下流のさまざまなタスクや設定で最も堅牢に機能するが、テスト時の拡張は軽量な代替手段となることが多い。
code is at: https://github.com/IML-DKFZ/values
関連論文リスト
- Efficient Conformal Prediction under Data Heterogeneity [81.48629818956351]
コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。
非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。
この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
論文 参考訳(メタデータ) (2023-12-25T20:02:51Z) - How Reliable is Your Regression Model's Uncertainty Under Real-World
Distribution Shifts? [46.05502630457458]
本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。
分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
論文 参考訳(メタデータ) (2023-02-07T18:54:39Z) - A Call to Reflect on Evaluation Practices for Failure Detection in Image
Classification [0.491574468325115]
本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。
簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
論文 参考訳(メタデータ) (2022-11-28T12:25:27Z) - Composed Image Retrieval with Text Feedback via Multi-grained
Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。
提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文 参考訳(メタデータ) (2022-11-14T14:25:40Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳(メタデータ) (2022-10-24T17:53:20Z) - Uncertainty-Aware Lidar Place Recognition in Novel Environments [11.30020653282995]
本研究では,不確実性を考慮したライダー位置認識の課題について検討する。
各予測された場所は、誤った予測を識別し拒否するために使用できる関連する不確実性を持つ必要がある。
我々は新しい評価プロトコルを導入し、このタスクのための最初の総合的なベンチマークを示す。
論文 参考訳(メタデータ) (2022-10-04T04:06:44Z) - Evaluating Causal Inference Methods [0.4588028371034407]
我々は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入する。
我々の研究は、因果推論手法を検証するために、深層生成モデルに基づくフレームワーク、クレデンスを導入している。
論文 参考訳(メタデータ) (2022-02-09T00:21:22Z) - Learning while Respecting Privacy and Robustness to Distributional
Uncertainties and Adversarial Data [66.78671826743884]
分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。
目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。
提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
論文 参考訳(メタデータ) (2020-07-07T18:25:25Z) - Identifying Causal-Effect Inference Failure with Uncertainty-Aware
Models [41.53326337725239]
本稿では,不確実性推定を最先端のニューラルネットワーク手法のクラスに統合する実践的アプローチを提案する。
提案手法は,高次元データに共通する「非オーバーラップ」の状況に優雅に対処できることを示す。
正確なモデリングの不確実性は、過度に自信を持ち、潜在的に有害なレコメンデーションを与えるのを防ぐことができる。
論文 参考訳(メタデータ) (2020-07-01T00:37:41Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳(メタデータ) (2020-06-10T20:20:10Z) - Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep
Learning [70.72363097550483]
本研究では,画像分類における領域内不確実性に着目した。
そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
論文 参考訳(メタデータ) (2020-02-15T23:28:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。