論文の概要: On The Usage Of Average Hausdorff Distance For Segmentation Performance
Assessment: Hidden Bias When Used For Ranking
- arxiv url: http://arxiv.org/abs/2009.00215v2
- Date: Sun, 13 Sep 2020 13:37:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 01:45:22.204813
- Title: On The Usage Of Average Hausdorff Distance For Segmentation Performance
Assessment: Hidden Bias When Used For Ranking
- Title（参考訳）: セグメンテーション性能評価における平均ハウスドルフ距離の利用について:ランク付け時に隠れバイアス
- Authors: Orhun Utku Aydin, Abdel Aziz Taha, Adam Hilbert, Ahmed A. Khalil,
Ivana Galinovic, Jochen B. Fiebach, Dietmar Frey and Vince Istvan Madai
- Abstract要約: 平均ハウスドルフ距離(AVD)は、2つの点集合間の距離を計算するために用いられる。
バランス付AVD(bAVD)を作成したAVDの修正型計算を提案する。
提案した評価指標であるbAVDは,AVDのランキングバイアスを緩和し,セグメンテーションのランク付けや品質評価に適している。
- 参考スコア（独自算出の注目度）: 0.9894420655516565
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Average Hausdorff Distance (AVD) is a widely used performance measure to
calculate the distance between two point sets. In medical image segmentation,
AVD is used to compare ground truth images with segmentation results allowing
their ranking. We identified, however, a ranking bias of AVD making it less
suitable for segmentation ranking. To mitigate this bias, we present a modified
calculation of AVD that we have coined balanced AVD (bAVD). To simulate
segmentations for ranking, we manually created non-overlapping segmentation
errors common in cerebral vessel segmentation as our use-case. Adding the
created errors consecutively and randomly to the ground truth, we created sets
of simulated segmentations with increasing number of errors. Each set of
simulated segmentations was ranked using AVD and bAVD. We calculated the
Kendall-rank-correlation-coefficient between the segmentation ranking and the
number of errors in each simulated segmentation. The rankings produced by bAVD
had a significantly higher average correlation (0.969) than those of AVD
(0.847). In 200 total rankings, bAVD misranked 52 and AVD misranked 179
segmentations. Our proposed evaluation measure, bAVD, alleviates AVDs ranking
bias making it more suitable for rankings and quality assessment of
segmentations.
- Abstract（参考訳）: 平均ハウスドルフ距離(英: Average Hausdorff Distance, AVD)は、2つの点集合間の距離を計算するために広く用いられる性能測度である。
医用画像セグメンテーションでは、avdは基底真理画像とそれらのランキングを可能にするセグメンテーション結果を比較するために使用される。
しかし,avdのランキングバイアスにより,セグメンテーションランキングにはあまり適さないことがわかった。
このバイアスを軽減するため、バランスの取れたAVD(bAVD)を作成したAVDの修正型計算を提案する。
分類のためのセグメンテーションをシミュレートするため,脳血管セグメンテーションに共通する非重複セグメンテーションエラーを手作業で作成した。
生成した誤りを連続的に無作為に付加し, 誤り数の増加を伴うシミュレーションセグメンテーションのセットを作成した。
各セグメンテーションは, AVD と bAVD を用いてランク付けした。
我々は,各セグメンテーションにおけるセグメンテーションランキングと誤差数との相関係数を計算した。
bAVDによるランキングは、AVD (0.847) よりも有意に高い平均相関 (0.969) を示した。
合計ランキング200位では、bAVDは52位、AVDは179位だった。
提案した評価指標であるbAVDは,AVDのランキングバイアスを緩和し,セグメンテーションのランク付けや品質評価に適している。
関連論文リスト
- SureMap: Simultaneous Mean Estimation for Single-Task and Multi-Task Disaggregated Evaluation [75.56845750400116]
分散評価(disaggregated evaluation) -- 異なるサブポピュレーション上での機械学習モデルのパフォーマンスの推定 - は、AIシステムのパフォーマンスとグループフェアネスを評価する上で、中核的なタスクである。
ブラックボックスモデルの評価において,マルチタスクとシングルタスクの双方に対して高い推定精度を持つSureMapを開発した。
提案手法は, ウェル・チョーゼンを用いた最大後部推定と, スタインの非バイアスリスク推定(SURE)によるクロスバリデーションフリーチューニングを併用する。
論文 参考訳（メタデータ） (2024-11-14T17:53:35Z) - Not All Pairs are Equal: Hierarchical Learning for Average-Precision-Oriented Video Retrieval [80.09819072780193]
平均精度(AP)は、関連ビデオのランキングを上位リストで評価する。
最近のビデオ検索手法は、全てのサンプル対を等しく扱うペアワイズ損失を利用する。
論文 参考訳（メタデータ） (2024-07-22T11:52:04Z) - Average Calibration Error: A Differentiable Loss for Improved
Reliability in Image Segmentation [17.263160921956445]
本稿では,L1平均キャリブレーション誤差(mL1-ACE)を新たな補助損失関数として用いて,セグメンテーション品質を損なうことなく画素ワイドキャリブレーションを改善することを提案する。
この損失は、ハード・ビンニングを用いても直接微分可能であり、近似的ではあるが微分可能なサロゲートやソフト・ビンニングのアプローチを回避できることが示される。
論文 参考訳（メタデータ） (2024-03-11T14:31:03Z) - Revisiting AP Loss for Dense Object Detection: Adaptive Ranking Pair
Selection [19.940491797959407]
本研究では, 平均精度 (AP) の損失を再考し, その重要な要素は, 正試料と負試料のランキングペアを選択することであることを明らかにした。
本稿では,AP損失を改善するための2つの方法を提案する。第1に,APE(Adaptive Pairwise Error)損失は,正と負の両方のサンプルにおいて,ペアのランク付けに重点を置いている。
MSCOCOデータセットで行った実験は、現在の分類とランキングの損失と比較して、提案手法の優位性を実証し、分析を支援した。
論文 参考訳（メタデータ） (2022-07-25T10:33:06Z) - E-ADDA: Unsupervised Adversarial Domain Adaptation Enhanced by a New
Mahalanobis Distance Loss for Smart Computing [25.510639595356597]
スマートコンピューティングでは、特定のタスクのためのトレーニングサンプルのラベルが常に豊富であるとは限らない。
本稿では,Mahalanobis 距離損失の新たなバリエーションと分布外検出サブルーチンを併用した新しい UDA アルゴリズム TextitE-ADDA を提案する。
音響モードでは、E-ADDAはf1スコアで測定されたいくつかの最先端のUDAアルゴリズムを最大29.8%上回っている。
コンピュータビジョンのモダリティにおいて、評価結果は、人気UDAにおける新しい最先端性能を実現することを示唆している。
論文 参考訳（メタデータ） (2022-01-24T23:20:55Z) - A new baseline for retinal vessel segmentation: Numerical identification
and correction of methodological inconsistencies affecting 100+ papers [0.0]
得られた性能スコアのコヒーレンスに関する詳細な数値解析を行った。
視野の使用に関する報告結果に矛盾が認められた。
これまでに達成された最高精度はFoV領域の0.9582であり、これは人間のアノテーションよりも1%高い。
論文 参考訳（メタデータ） (2021-11-06T11:09:11Z) - Anomaly Detection: How to Artificially Increase your F1-Score with a
Biased Evaluation Protocol [0.11470070927586014]
異常検出は機械学習において広く研究されている領域である。
パフォーマンスを比較するために使用される最も一般的なメトリクスは、F1スコア、AUC、AVPRである。
F1スコアとAVPRは汚染率に非常に敏感である。
論文 参考訳（メタデータ） (2021-06-30T12:36:01Z) - Evaluating Large-Vocabulary Object Detectors: The Devil is in the
Details [107.2722027807328]
我々は、APのデフォルト実装はカテゴリー独立ではなく、適切に校正された検出器を直接報酬するものではないことを発見した。
既定の実装ではゲーム可能なメトリックが生成され、単純で非合理的な再ランクポリシーがAPを大きなマージンで改善できることが示される。
我々は,近年の大規模語彙検出の進歩をベンチマークし,新たなクラスごとの独立性評価において,多くの報告された利益が改善に結びついていないことを発見した。
論文 参考訳（メタデータ） (2021-02-01T18:56:02Z) - Distribution Matching for Crowd Counting [51.90971145453012]
アノテーションにガウスを付与することは一般化性能を損なうことを示す。
我々は,群集CoUNTing (DM-Count) における分布マッチングの利用を提案する。
平均絶対誤差(Mean Absolute Error)の観点では、DM-Countは従来の最先端手法よりも優れている。
論文 参考訳（メタデータ） (2020-09-28T04:57:23Z) - Collaborative Boundary-aware Context Encoding Networks for Error Map
Prediction [65.44752447868626]
本稿では,AEP-Net と呼ばれる協調的コンテキスト符号化ネットワークを提案する。
具体的には、画像とマスクのより優れた特徴融合のための協調的な特徴変換分岐と、エラー領域の正確な局所化を提案する。
AEP-Netはエラー予測タスクの平均DSCが0.8358,0.8164であり、ピアソン相関係数が0.9873である。
論文 参考訳（メタデータ） (2020-06-25T12:42:01Z) - Reanalysis of Variance Reduced Temporal Difference Learning [57.150444843282]
Korda と La が提案した分散還元型TD (VRTD) アルゴリズムは,マルコフサンプルを用いたオンラインTD学習に直接適用する。
我々は,VRTDが線形収束速度でTDの固定点解の近傍に収束することが保証されていることを示す。
論文 参考訳（メタデータ） (2020-01-07T05:32:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。