論文の概要: SortedAP: Rethinking evaluation metrics for instance segmentation

• arxiv url: http://arxiv.org/abs/2309.04887v1
• Date: Sat, 9 Sep 2023 22:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-12 15:49:19.435487
• Title: SortedAP: Rethinking evaluation metrics for instance segmentation
• Title（参考訳）: SortedAP: インスタンスセグメンテーションの評価基準の再検討
• Authors: Long Chen, Yuli Wu, Johannes Stegmaier, Dorit Merhof
• Abstract要約: 既存のメトリクスのほとんどは、セグメンテーション品質の限定的な解像度を持っていることを示す。 そこで我々は,オブジェクトレベルの不完全度と画素レベルの不完全度の両方で厳格に減少する sortedAP という新しい指標を提案する。
• 参考スコア（独自算出の注目度）: 8.079566596963632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Designing metrics for evaluating instance segmentation revolves around comprehensively considering object detection and segmentation accuracy. However, other important properties, such as sensitivity, continuity, and equality, are overlooked in the current study. In this paper, we reveal that most existing metrics have a limited resolution of segmentation quality. They are only conditionally sensitive to the change of masks or false predictions. For certain metrics, the score can change drastically in a narrow range which could provide a misleading indication of the quality gap between results. Therefore, we propose a new metric called sortedAP, which strictly decreases with both object- and pixel-level imperfections and has an uninterrupted penalization scale over the entire domain. We provide the evaluation toolkit and experiment code at https://www.github.com/looooongChen/sortedAP.
• Abstract（参考訳）: インスタンスセグメンテーションを評価するためのメトリクスの設計は、オブジェクトの検出とセグメンテーションの精度を包括的に考慮する。 しかし, 感度, 連続性, 等性といった他の重要な性質は, 現状の研究では見過ごされている。 本稿では,既存の指標の大部分がセグメンテーション品質の限界値であることを示す。 マスクの変化や偽の予測にのみ、条件に敏感である。 特定の指標について、スコアは狭い範囲で劇的に変化し、結果間の品質ギャップの誤解を招く可能性がある。 そこで本研究では,オブジェクトレベルとピクセルレベルの不完全度で厳格に減少し,ドメイン全体にわたって断続的なペナリゼーションスケールを持つ,ソートedapと呼ばれる新しいメトリックを提案する。 評価ツールキットと実験コードはhttps://www.github.com/looooongChen/sortedAPで提供します。

関連論文リスト

• Every Component Counts: Rethinking the Measure of Success for Medical Semantic Segmentation in Multi-Instance Segmentation Tasks [60.80828925396154]
  本稿では,新しいセマンティックセグメンテーション評価プロトコルであるConnected-Component (CC)-Metricsを提案する。 本研究は,全体PET/CTにおけるセマンティックセグメンテーションの一般的な医療シナリオにおいて,この設定を動機付けている。 既存のセマンティックセグメンテーションのメトリクスが、より大きな接続コンポーネントに対するバイアスにどのように悩まされているかを示す。
  論文  参考訳（メタデータ） (2024-10-24T12:26:05Z)
• Size-invariance Matters: Rethinking Metrics and Losses for Imbalanced Multi-object Salient Object Detection [133.66006666465447]
  現在のメトリクスはサイズに敏感で、大きなオブジェクトが集中し、小さなオブジェクトが無視される傾向があります。 サイズに基づくバイアスは、追加のセマンティック情報なしでは不適切であるため、評価はサイズ不変であるべきだと論じる。 我々は,この目標に適した最適化フレームワークを開発し,異なる大きさのオブジェクトの検出において,大幅な改善を実現した。
  論文  参考訳（メタデータ） (2024-05-16T03:01:06Z)
• Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
  そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
  論文  参考訳（メタデータ） (2023-10-30T03:45:15Z)
• SMATCH++: Standardized and Extended Evaluation of Semantic Graphs [4.987581730476023]
  Smatchメトリックはグラフ距離を評価する一般的な方法である。 構造的に逸脱するが有効なグラフを許容するアノテーションガイドラインに完全に準拠する方法を示す。 スコアリングの改善のために,細粒度部分グラフの意味の計算を標準化し,拡張する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:29:47Z)
• Beyond mAP: Towards better evaluation of instance segmentation [23.562251593257674]
  平均精度は、ハイリコール範囲における重複予測をペナルティ化しない。 本研究では,空間的およびカテゴリー的両方の重複予測の量を明示的に測定する2つの新しい手法を提案する。 当社のセマンティックソーティングとNMSは,ヘッジド予測を緩和し,APを保存するためのプラグイン・アンド・プレイモジュールとして追加することができる。
  論文  参考訳（メタデータ） (2022-07-04T17:56:14Z)
• On Quantitative Evaluations of Counterfactuals [88.42660013773647]
  本稿では、分析と実験を通じて、視覚的対実例の評価に関する研究を集約する。 ほとんどのメトリクスは、十分な単純なデータセットを意図して振る舞うが、複雑さが増加すると、良い結果と悪い結果の違いを判断できないものもいる。 私たちはラベル変動スコアとOracleスコアという2つの新しい指標を提案しています。
  論文  参考訳（メタデータ） (2021-10-30T05:00:36Z)
• Boundary IoU: Improving Object-Centric Image Segmentation Evaluation [125.20898025044804]
  境界品質に着目した新たなセグメンテーション評価手法であるBoundary IoUを紹介します。 境界IoUは、大きなオブジェクトの境界誤差に対して標準のMask IoU測度よりもはるかに感度が高く、小さなオブジェクトの誤差を過給しない。
  論文  参考訳（メタデータ） (2021-03-30T17:59:20Z)
• Evaluating Large-Vocabulary Object Detectors: The Devil is in the Details [107.2722027807328]
  我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。 既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。 我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
  論文  参考訳（メタデータ） (2021-02-01T18:56:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。