論文の概要: Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union

• arxiv url: http://arxiv.org/abs/2310.19252v1
• Date: Mon, 30 Oct 2023 03:45:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 21:48:26.282033
• Title: Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union
• Title（参考訳）: セマンティックセグメンテーションの評価基準の再検討--粒状断面積の最適化と評価
• Authors: Zifu Wang and Maxim Berman and Amal Rannen-Triki and Philip H.S. Torr and Devis Tuia and Tinne Tuytelaars and Luc Van Gool and Jiaqian Yu and Matthew B. Blaschko
• Abstract要約: そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
• 参考スコア（独自算出の注目度）: 113.20223082664681
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantic segmentation datasets often exhibit two types of imbalance: \textit{class imbalance}, where some classes appear more frequently than others and \textit{size imbalance}, where some objects occupy more pixels than others. This causes traditional evaluation metrics to be biased towards \textit{majority classes} (e.g. overall pixel-wise accuracy) and \textit{large objects} (e.g. mean pixel-wise accuracy and per-dataset mean intersection over union). To address these shortcomings, we propose the use of fine-grained mIoUs along with corresponding worst-case metrics, thereby offering a more holistic evaluation of segmentation techniques. These fine-grained metrics offer less bias towards large objects, richer statistical information, and valuable insights into model and dataset auditing. Furthermore, we undertake an extensive benchmark study, where we train and evaluate 15 modern neural networks with the proposed metrics on 12 diverse natural and aerial segmentation datasets. Our benchmark study highlights the necessity of not basing evaluations on a single metric and confirms that fine-grained mIoUs reduce the bias towards large objects. Moreover, we identify the crucial role played by architecture designs and loss functions, which lead to best practices in optimizing fine-grained metrics. The code is available at \href{https://github.com/zifuwanggg/JDTLosses}{https://github.com/zifuwanggg/JDTLosses}.
• Abstract（参考訳）: 意味セグメンテーションデータセットは、しばしば2種類の不均衡を示す: \textit{class imbalance}、あるクラスが他のクラスよりも頻繁に現れる、 \textit{size imbalance}、あるオブジェクトが他のクラスよりも多くのピクセルを占有する。 これにより、従来の評価基準は \textit{majority class} (例えば、ピクセル単位の精度) と \textit{large objects} (例えば、平均ピクセル単位の精度とデータセット単位の平均交点) に偏りがちになる。 これらの欠点に対処するため,我々は,細粒度mIoUと,それに対応する最悪の指標を用いて,より包括的なセグメンテーション手法の評価を行う。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 さらに,12種類の自然および空中のセグメンテーションデータセットについて,提案する指標を用いて15の現代ニューラルネットワークを訓練し,評価する,広範なベンチマーク研究を行った。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。 さらに,アーキテクチャ設計と損失関数が果たす重要な役割を特定し,細粒度メトリクスを最適化するベストプラクティスを導出する。 コードは \href{https://github.com/zifuwanggg/jdtlosses}{https://github.com/zifuwanggg/jdtlosses} で入手できる。

関連論文リスト

• Fine-grained Metrics for Point Cloud Semantic Segmentation [6.713120348917712]
  2種類の不均衡は、ポイントクラウドセマンティックセグメンテーションデータセットでよく見られる。 カテゴリや大きなオブジェクトの大部分は、既存の評価指標で好まれます。 本稿では, 点群分割アルゴリズムのより詳細な評価のために, mIoU と mAcc の微細化を提案する。
  論文  参考訳（メタデータ） (2024-07-31T02:25:30Z)
• Size-invariance Matters: Rethinking Metrics and Losses for Imbalanced Multi-object Salient Object Detection [133.66006666465447]
  現在のメトリクスはサイズに敏感で、大きなオブジェクトが集中し、小さなオブジェクトが無視される傾向があります。 サイズに基づくバイアスは、追加のセマンティック情報なしでは不適切であるため、評価はサイズ不変であるべきだと論じる。 我々は,この目標に適した最適化フレームワークを開発し,異なる大きさのオブジェクトの検出において,大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-05-16T03:01:06Z)
• $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
  本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。 分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
  論文  参考訳（メタデータ） (2024-04-11T18:07:57Z)
• Piecewise-Linear Manifolds for Deep Metric Learning [8.670873561640903]
  教師なしの深度学習は、ラベルなしデータのみを使用して意味表現空間を学習することに焦点を当てる。 本稿では,各低次元線形片が点の小さな近傍でデータ多様体を近似して高次元データ多様体をモデル化することを提案する。 我々は、この類似度推定が、現在の最先端技術の類似度推定よりも基礎的真理と相関していることを実証的に示す。
  論文  参考訳（メタデータ） (2024-03-22T06:22:20Z)
• Towards Multiple References Era -- Addressing Data Leakage and Limited Reference Diversity in NLG Evaluation [55.92852268168816]
  BLEUやchrFのようなN-gramマッチングに基づく評価指標は、自然言語生成(NLG)タスクで広く利用されている。 近年の研究では、これらのマッチングベースの指標と人間の評価との間には弱い相関関係が示されている。 本稿では,これらの指標と人的評価の整合性を高めるために,テキストマルチプル参照を利用することを提案する。
  論文  参考訳（メタデータ） (2023-08-06T14:49:26Z)
• Joint Metrics Matter: A Better Standard for Trajectory Forecasting [67.1375677218281]
  マルチモーダル・トラジェクトリ・予測法 : シングルエージェント・メトリクス(マージナル・メトリクス)を用いた評価 余分な指標にのみ注目することは、グループとして明確に一緒に歩いている人々のために、軌跡の衝突や軌跡のばらつきといった、不自然な予測につながる可能性がある。 本稿では,JADE,JFDE,衝突速度といったマルチエージェントメトリクス(ジョイントメトリクス)に関して,最先端トラジェクトリ予測手法の総合評価を行った。
  論文  参考訳（メタデータ） (2023-05-10T16:27:55Z)
• Long-tail Detection with Effective Class-Margins [4.18804572788063]
  本稿では, 未知のテストセットの平均精度評価基準が, マージンベースの二項分類誤差によってどのように制限されているかを示す。 テキスト・エフェクティブ・クラス・マージン・ロス(ECM)と呼ばれる新しいサロゲート目標を用いて、マージンベースの二項分類誤差を最適化する。
  論文  参考訳（メタデータ） (2023-01-23T21:25:24Z)
• A Closer Look at Debiased Temporal Sentence Grounding in Videos: Dataset, Metric, and Approach [53.727460222955266]
  テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。 最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。 偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
  論文  参考訳（メタデータ） (2022-03-10T08:58:18Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。