論文の概要: Revisiting Evaluation Metrics for Semantic Segmentation: Optimization
and Evaluation of Fine-grained Intersection over Union
- arxiv url: http://arxiv.org/abs/2310.19252v1
- Date: Mon, 30 Oct 2023 03:45:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 21:48:26.282033
- Title: Revisiting Evaluation Metrics for Semantic Segmentation: Optimization
and Evaluation of Fine-grained Intersection over Union
- Title(参考訳): セマンティックセグメンテーションの評価基準の再検討--粒状断面積の最適化と評価
- Authors: Zifu Wang and Maxim Berman and Amal Rannen-Triki and Philip H.S. Torr
and Devis Tuia and Tinne Tuytelaars and Luc Van Gool and Jiaqian Yu and
Matthew B. Blaschko
- Abstract要約: そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。
これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。
ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
- 参考スコア(独自算出の注目度): 113.20223082664681
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Semantic segmentation datasets often exhibit two types of imbalance:
\textit{class imbalance}, where some classes appear more frequently than others
and \textit{size imbalance}, where some objects occupy more pixels than others.
This causes traditional evaluation metrics to be biased towards
\textit{majority classes} (e.g. overall pixel-wise accuracy) and \textit{large
objects} (e.g. mean pixel-wise accuracy and per-dataset mean intersection over
union). To address these shortcomings, we propose the use of fine-grained mIoUs
along with corresponding worst-case metrics, thereby offering a more holistic
evaluation of segmentation techniques. These fine-grained metrics offer less
bias towards large objects, richer statistical information, and valuable
insights into model and dataset auditing. Furthermore, we undertake an
extensive benchmark study, where we train and evaluate 15 modern neural
networks with the proposed metrics on 12 diverse natural and aerial
segmentation datasets. Our benchmark study highlights the necessity of not
basing evaluations on a single metric and confirms that fine-grained mIoUs
reduce the bias towards large objects. Moreover, we identify the crucial role
played by architecture designs and loss functions, which lead to best practices
in optimizing fine-grained metrics. The code is available at
\href{https://github.com/zifuwanggg/JDTLosses}{https://github.com/zifuwanggg/JDTLosses}.
- Abstract(参考訳): 意味セグメンテーションデータセットは、しばしば2種類の不均衡を示す: \textit{class imbalance}、あるクラスが他のクラスよりも頻繁に現れる、 \textit{size imbalance}、あるオブジェクトが他のクラスよりも多くのピクセルを占有する。
これにより、従来の評価基準は \textit{majority class} (例えば、ピクセル単位の精度) と \textit{large objects} (例えば、平均ピクセル単位の精度とデータセット単位の平均交点) に偏りがちになる。
これらの欠点に対処するため,我々は,細粒度mIoUと,それに対応する最悪の指標を用いて,より包括的なセグメンテーション手法の評価を行う。
これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。
さらに,12種類の自然および空中のセグメンテーションデータセットについて,提案する指標を用いて15の現代ニューラルネットワークを訓練し,評価する,広範なベンチマーク研究を行った。
ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
さらに,アーキテクチャ設計と損失関数が果たす重要な役割を特定し,細粒度メトリクスを最適化するベストプラクティスを導出する。
コードは \href{https://github.com/zifuwanggg/jdtlosses}{https://github.com/zifuwanggg/jdtlosses} で入手できる。
関連論文リスト
- SortedAP: Rethinking evaluation metrics for instance segmentation [8.079566596963632]
既存のメトリクスのほとんどは、セグメンテーション品質の限定的な解像度を持っていることを示す。
そこで我々は,オブジェクトレベルの不完全度と画素レベルの不完全度の両方で厳格に減少する sortedAP という新しい指標を提案する。
論文 参考訳(メタデータ) (2023-09-09T22:50:35Z) - Towards Multiple References Era -- Addressing Data Leakage and Limited
Reference Diversity in NLG Evaluation [55.92852268168816]
BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。
近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。
本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
論文 参考訳(メタデータ) (2023-08-06T14:49:26Z) - SMATCH++: Standardized and Extended Evaluation of Semantic Graphs [4.987581730476023]
Smatchメトリックはグラフ距離を評価する一般的な方法である。
構造的に逸脱するが有効なグラフを許容するアノテーションガイドラインに完全に準拠する方法を示す。
スコアリングの改善のために,細粒度部分グラフの意味の計算を標準化し,拡張する手法を提案する。
論文 参考訳(メタデータ) (2023-05-11T17:29:47Z) - Joint Metrics Matter: A Better Standard for Trajectory Forecasting [67.1375677218281]
マルチモーダル・トラジェクトリ・予測法 : シングルエージェント・メトリクス(マージナル・メトリクス)を用いた評価
余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡のばらつきといった、不自然な予測につながる可能性がある。
本稿では,JADE,JFDE,衝突速度といったマルチエージェントメトリクス(ジョイントメトリクス)に関して,最先端トラジェクトリ予測手法の総合評価を行った。
論文 参考訳(メタデータ) (2023-05-10T16:27:55Z) - Long-tail Detection with Effective Class-Margins [4.18804572788063]
本稿では, 未知のテストセットの平均精度評価基準が, マージンベースの二項分類誤差によってどのように制限されているかを示す。
テキスト・エフェクティブ・クラス・マージン・ロス(ECM)と呼ばれる新しいサロゲート目標を用いて、マージンベースの二項分類誤差を最適化する。
論文 参考訳(メタデータ) (2023-01-23T21:25:24Z) - On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。
我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。
私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
論文 参考訳(メタデータ) (2022-12-20T06:24:25Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Relational Surrogate Loss Learning [41.61184221367546]
本稿では、評価指標を近似するためにディープニューラルネットワークを用いる代理損失学習を再考する。
本稿では,サロゲート損失と測定値の関係を直接的に維持することを示す。
私たちの方法は最適化がずっと簡単で、大幅な効率と性能向上を享受しています。
論文 参考訳(メタデータ) (2022-02-26T17:32:57Z) - Revisiting Contrastive Methods for Unsupervised Learning of Visual
Representations [78.12377360145078]
対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。
本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。
現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
論文 参考訳(メタデータ) (2021-06-10T17:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。