論文の概要: ValUES: A Framework for Systematic Validation of Uncertainty Estimation
in Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2401.08501v1
- Date: Tue, 16 Jan 2024 17:02:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 19:01:38.799898
- Title: ValUES: A Framework for Systematic Validation of Uncertainty Estimation
in Semantic Segmentation
- Title（参考訳）: ValUES:セマンティックセグメンテーションにおける不確実性推定の体系的検証のためのフレームワーク
- Authors: Kim-Celine Kahl, Carsten T. L\"uth, Maximilian Zenk, Klaus Maier-Hein,
Paul F. Jaeger
- Abstract要約: 不確実性推定は、セマンティックセグメンテーション法において不可欠で研究の難しい要素である。
データ関連とモデル関連の不確実性は実際に分離できるのか?
不確実性手法のどのコンポーネントが現実世界のパフォーマンスに欠かせないのか?
- 参考スコア（独自算出の注目度）: 1.3709999596792268
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty estimation is an essential and heavily-studied component for the
reliable application of semantic segmentation methods. While various studies
exist claiming methodological advances on the one hand, and successful
application on the other hand, the field is currently hampered by a gap between
theory and practice leaving fundamental questions unanswered: Can data-related
and model-related uncertainty really be separated in practice? Which components
of an uncertainty method are essential for real-world performance? Which
uncertainty method works well for which application? In this work, we link this
research gap to a lack of systematic and comprehensive evaluation of
uncertainty methods. Specifically, we identify three key pitfalls in current
literature and present an evaluation framework that bridges the research gap by
providing 1) a controlled environment for studying data ambiguities as well as
distribution shifts, 2) systematic ablations of relevant method components, and
3) test-beds for the five predominant uncertainty applications: OoD-detection,
active learning, failure detection, calibration, and ambiguity modeling.
Empirical results on simulated as well as real-world data demonstrate how the
proposed framework is able to answer the predominant questions in the field
revealing for instance that 1) separation of uncertainty types works on
simulated data but does not necessarily translate to real-world data, 2)
aggregation of scores is a crucial but currently neglected component of
uncertainty methods, 3) While ensembles are performing most robustly across the
different downstream tasks and settings, test-time augmentation often
constitutes a light-weight alternative. Code is at:
https://github.com/IML-DKFZ/values
- Abstract（参考訳）: 不確実性推定は,セマンティックセグメンテーション手法の信頼性向上に不可欠な要素である。
一方、方法論の進歩を主張する様々な研究や、その一方では成功した応用が存在しているが、その分野は現在、理論と実践のギャップによって妨げられている。
不確実性メソッドのどのコンポーネントが現実世界のパフォーマンスに不可欠か?
どの適用に不確実性があるか?
本研究では,この研究ギャップを,不確実性評価の体系的かつ包括的評価の欠如と結びつける。
具体的には,現在の文献における3つの落とし穴を特定し,研究ギャップを埋めるための評価枠組みを提案する。
1)データのあいまいさや分布変化を研究するための制御環境。
2 関連する方法部品の系統的アブレーション、及び
3) OoD検出, 能動学習, 故障検出, 校正, 曖昧性モデリングの5つの主要な不確実性アプリケーションに対するテストベッド。
シミュレーションおよび実世界のデータに関する実証的な結果は、提案フレームワークが、例えば、この分野における主要な疑問にどのように答えられるかを示している。
1)不確実性型の分離はシミュレーションデータに作用するが、必ずしも現実世界のデータに変換されない。
2) スコアの集計は重要ではあるが, 不確実性の要素として無視されている。
3) アンサンブルは下流のさまざまなタスクや設定で最も堅牢に機能するが、テスト時の拡張は軽量な代替手段となることが多い。
code is at: https://github.com/IML-DKFZ/values
関連論文リスト
- A Review of Bayesian Uncertainty Quantification in Deep Probabilistic Image Segmentation [0.0]
画像セグメンテーションの進歩は、ディープラーニングベースのコンピュータビジョンの広い範囲において重要な役割を果たす。
この文脈において不確かさの定量化が広く研究され、モデル無知(認識の不確実性)やデータ曖昧さ(アラート的不確実性)を表現し、不正な意思決定を防ぐことができる。
この研究は、分野の進歩を左右する不確実性の基本概念と様々なタスクへの応用について議論することで、確率的セグメンテーションの包括的概要を提供する。
論文 参考訳（メタデータ） (2024-11-25T13:26:09Z) - Perception Matters: Enhancing Embodied AI with Uncertainty-Aware Semantic Segmentation [24.32551050538683]
Embodied AIは、探索されていない環境での行動に大きな進歩を遂げた。
我々は、日付付き知覚モデルに焦点をあて、時間的集約を無視し、地上の真実からテスト時にノイズの多い知覚へと直接移行する。
本研究は,アグリゲーション間の知覚確率と不確かさを校正し,決定を下すことによって,同定された問題に対処する。
論文 参考訳（メタデータ） (2024-08-05T08:14:28Z) - Uncertainty for Active Learning on Graphs [70.44714133412592]
不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。
予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。
提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
論文 参考訳（メタデータ） (2024-05-02T16:50:47Z) - Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。
本稿では,LLMのための不確実性分解フレームワークについて述べる。
提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
論文 参考訳（メタデータ） (2023-11-15T05:58:35Z) - How Reliable is Your Regression Model's Uncertainty Under Real-World
Distribution Shifts? [46.05502630457458]
本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。
分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
論文 参考訳（メタデータ） (2023-02-07T18:54:39Z) - A Call to Reflect on Evaluation Practices for Failure Detection in Image
Classification [0.491574468325115]
本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。
簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
論文 参考訳（メタデータ） (2022-11-28T12:25:27Z) - Composed Image Retrieval with Text Feedback via Multi-grained
Uncertainty Regularization [73.04187954213471]
粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。
提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
論文 参考訳（メタデータ） (2022-11-14T14:25:40Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Identifying Causal-Effect Inference Failure with Uncertainty-Aware
Models [41.53326337725239]
本稿では,不確実性推定を最先端のニューラルネットワーク手法のクラスに統合する実践的アプローチを提案する。
提案手法は,高次元データに共通する「非オーバーラップ」の状況に優雅に対処できることを示す。
正確なモデリングの不確実性は、過度に自信を持ち、潜在的に有害なレコメンデーションを与えるのを防ぐことができる。
論文 参考訳（メタデータ） (2020-07-01T00:37:41Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z) - Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep
Learning [70.72363097550483]
本研究では,画像分類における領域内不確実性に着目した。
そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
論文 参考訳（メタデータ） (2020-02-15T23:28:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。