論文の概要: Reliability in Semantic Segmentation: Are We on the Right Track?

• arxiv url: http://arxiv.org/abs/2303.11298v1
• Date: Mon, 20 Mar 2023 17:38:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 14:24:09.605642
• Title: Reliability in Semantic Segmentation: Are We on the Right Track?
• Title（参考訳）: セマンティックセグメンテーションの信頼性:我々は正しい軌道にいるか?
• Authors: Pau de Jorge, Riccardo Volpi, Philip Torr, Gregory Rogez
• Abstract要約: 我々は、古いResNetベースのアーキテクチャから新しいトランスフォーマーまで、さまざまなモデルを分析します。 近年のモデルでは, 信頼性は著しく高いが, 不確実性評価の点では, 全体として信頼性は高くない。 これは、ロバストネスと不確実性推定の両方に焦点を当てた現代のセグメンテーションモデルに関する最初の研究である。
• 参考スコア（独自算出の注目度）: 15.0189654919665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by the increasing popularity of transformers in computer vision, in recent times there has been a rapid development of novel architectures. While in-domain performance follows a constant, upward trend, properties like robustness or uncertainty estimation are less explored -leaving doubts about advances in model reliability. Studies along these axes exist, but they are mainly limited to classification models. In contrast, we carry out a study on semantic segmentation, a relevant task for many real-world applications where model reliability is paramount. We analyze a broad variety of models, spanning from older ResNet-based architectures to novel transformers and assess their reliability based on four metrics: robustness, calibration, misclassification detection and out-of-distribution (OOD) detection. We find that while recent models are significantly more robust, they are not overall more reliable in terms of uncertainty estimation. We further explore methods that can come to the rescue and show that improving calibration can also help with other uncertainty metrics such as misclassification or OOD detection. This is the first study on modern segmentation models focused on both robustness and uncertainty estimation and we hope it will help practitioners and researchers interested in this fundamental vision task. Code available at https://github.com/naver/relis.
• Abstract（参考訳）: コンピュータビジョンにおけるトランスフォーマーの人気が高まり、近年では新しいアーキテクチャが急速に発展している。 ドメイン内パフォーマンスは、一定の上昇傾向に従うが、ロバスト性や不確実性の推定といった特性は、モデルの信頼性の進歩に疑問を投げかけることなく、あまり探求されていない。 これらの軸に沿った研究は存在するが、主に分類モデルに限られている。 対照的に,モデルの信頼性が最重要となる多くの実世界のアプリケーションにとって,意味的セグメンテーション(semantic segmentation)に関する研究を行う。 我々は、古いresnetベースのアーキテクチャから新しいトランスフォーマーまで幅広いモデルを分析し、ロバスト性、キャリブレーション、誤分類検出、分散(ood)検出の4つの指標に基づいて信頼性を評価する。 近年のモデルでは, 信頼性は著しく高いが, 不確実性評価では信頼性が低い。 さらに, 救助に利用できる手法を探究し, 校正の改善が他の不確実性指標, 誤分類, ood検出にも有効であることを示した。 これは、ロバストネスと不確実性推定の両方に焦点を当てた最新のセグメンテーションモデルに関する最初の研究であり、この基本的なビジョンタスクに関心のある実践者や研究者を支援することを願っている。 コードはhttps://github.com/naver/relis。

関連論文リスト

• The BRAVO Semantic Segmentation Challenge Results in UNCV2024 [68.20197719071436]
  我々は,(1)モデルが様々な摂動にさらされたときの精度とキャリブレーションを反映したセマンティック信頼性,(2)トレーニング中に未知のオブジェクトクラスを検出する能力を測定するOOD信頼性の2つのカテゴリを定義した。 その結果、大規模事前学習と最小限のアーキテクチャ設計が、堅牢で信頼性の高いセマンティックセグメンテーションモデルを開発する上で重要であるという興味深い洞察が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-09-23T15:17:30Z)
• Revisiting Confidence Estimation: Towards Reliable Failure Prediction [53.79160907725975]
  多くの信頼度推定法は誤分類誤りを検出するのに有害である。 本稿では, 最先端の故障予測性能を示す平坦な最小値を求めることにより, 信頼性ギャップを拡大することを提案する。
  論文  参考訳（メタデータ） (2024-03-05T11:44:14Z)
• Monitoring Machine Learning Models: Online Detection of Relevant Deviations [0.0]
  機械学習モデルは、データ分散やその他の要因の変化によって、時間の経過とともに劣化する可能性がある。 本稿では,関連する変化を検出するための逐次モニタリング手法を提案する。 本研究は, 微ゆらぎと有意義な劣化を区別する実用的な解決法である。
  論文  参考訳（メタデータ） (2023-09-26T18:46:37Z)
• How Reliable is Your Regression Model's Uncertainty Under Real-World Distribution Shifts? [46.05502630457458]
  本研究では,異なるタイプの分散シフトを伴う8つの画像ベース回帰データセットのベンチマークを提案する。 分散シフトがない場合、メソッドは十分に校正されているが、ベンチマークデータセットの多くに非常に自信が持たれていることが分かっています。
  論文  参考訳（メタデータ） (2023-02-07T18:54:39Z)
• CausalAgents: A Robustness Benchmark for Motion Forecasting using Causal Relationships [8.679073301435265]
  既存のデータに摂動を適用することにより、モデルロバスト性の評価と改善のための新しいベンチマークを構築する。 我々はこれらのラベルを使用して、現場から非因果的エージェントを削除することでデータを摂動する。 非因果摂動下では, minADE の相対的な変化は, 原型と比較して25$-$38%である。
  論文  参考訳（メタデータ） (2022-07-07T21:28:23Z)
• Large-scale Robustness Analysis of Video Action Recognition Models [10.017292176162302]
  我々は6つの最先端動作認識モデルの90種類の摂動に対する堅牢性について検討した。 1) トランスフォーマーベースモデルはCNNベースモデルと比較して一貫して堅牢であり、2) 事前トレーニングはCNNベースモデルよりもトランスフォーマーベースモデルのロバスト性を改善し、3) 研究されたモデルはすべて、SSv2以外のすべてのデータセットに対して時間的摂動に対して堅牢である。
  論文  参考訳（メタデータ） (2022-07-04T13:29:34Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Estimating the Robustness of Classification Models by the Structure of the Learned Feature-Space [10.418647759223964]
  固定テストセットは、可能なデータバリエーションのごく一部しかキャプチャできないため、制限され、新しい過度なソリューションを生成する傾向にある、と私たちは主張する。 これらの欠点を克服するために、学習した特徴空間の構造から直接モデルのロバスト性を推定することを提案する。
  論文  参考訳（メタデータ） (2021-06-23T10:52:29Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• RobustBench: a standardized adversarial robustness benchmark [84.50044645539305]
  ロバストネスのベンチマークにおける主な課題は、その評価がしばしばエラーを起こし、ロバストネス過大評価につながることである。 我々は,白箱攻撃と黒箱攻撃のアンサンブルであるAutoAttackを用いて,敵対的ロバスト性を評価する。 分散シフト,キャリブレーション,アウト・オブ・ディストリビューション検出,フェアネス,プライバシリーク,スムースネス,転送性に対するロバスト性の影響を解析した。
  論文  参考訳（メタデータ） (2020-10-19T17:06:18Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。