論文の概要: Metrics reloaded: Pitfalls and recommendations for image analysis validation

• arxiv url: http://arxiv.org/abs/2206.01653v1
• Date: Fri, 3 Jun 2022 15:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-06 14:43:15.575428
• Title: Metrics reloaded: Pitfalls and recommendations for image analysis validation
• Title（参考訳）: メトリクスの再ロード:画像解析検証のための落とし穴と推奨
• Authors: Lena Maier-Hein, Annika Reinke, Evangelia Christodoulou, Ben Glocker, Patrick Godau, Fabian Isensee, Jens Kleesiek, Michal Kozubek, Mauricio Reyes, Michael A. Riegler, Manuel Wiesenfarth, Michael Baumgartner, Matthias Eisenmann, Doreen Heckmann-N\"otzel, A. Emre Kavur, Tim R\"adsch, Minu D. Tizabi, Laura Acion, Michela Antonelli, Tal Arbel, Spyridon Bakas, Peter Bankhead, Arriel Benis, M. Jorge Cardoso, Veronika Cheplygina, Beth Cimini, Gary S. Collins, Keyvan Farahani, Bram van Ginneken, Daniel A. Hashimoto, Michael M. Hoffman, Merel Huisman, Pierre Jannin, Charles E. Kahn, Alexandros Karargyris, Alan Karthikesalingam, Hannes Kenngott, Annette Kopp-Schneider, Anna Kreshuk, Tahsin Kurc, Bennett A. Landman, Geert Litjens, Amin Madani, Klaus Maier-Hein, Anne L. Martel, Peter Mattson, Erik Meijering, Bjoern Menze, David Moher, Karel G.M. Moons, Henning M\"uller, Felix Nickel, Brennan Nichyporuk, Jens Petersen, Nasir Rajpoot, Nicola Rieke, Julio Saez-Rodriguez, Clarisa S\'anchez Guti\'errez, Shravya Shetty, Maarten van Smeden, Carole H. Sudre, Ronald M. Summers, Abdel A. Taha, Sotirios A. Tsaftaris, Ben Van Calster, Ga\"el Varoquaux, Paul F. J\"ager
• Abstract要約: 本稿では、研究者が問題意識でパフォーマンス指標を選択するための総合的なフレームワークを提案する。 このフレームワークはまず、与えられた問題の出力関連特性を問題指紋にコンパイルする。 次に、ユーザに対して、適切な検証メトリクスを選択して適用するプロセスを通じて、個々の選択に関連する潜在的な落とし穴を認識しながら、ユーザをガイドする。
• 参考スコア（独自算出の注目度）: 51.419706826112716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of automatic biomedical image analysis crucially depends on robust and meaningful performance metrics for algorithm validation. Current metric usage, however, is often ill-informed and does not reflect the underlying domain interest. Here, we present a comprehensive framework that guides researchers towards choosing performance metrics in a problem-aware manner. Specifically, we focus on biomedical image analysis problems that can be interpreted as a classification task at image, object or pixel level. The framework first compiles domain interest-, target structure-, data set- and algorithm output-related properties of a given problem into a problem fingerprint, while also mapping it to the appropriate problem category, namely image-level classification, semantic segmentation, instance segmentation, or object detection. It then guides users through the process of selecting and applying a set of appropriate validation metrics while making them aware of potential pitfalls related to individual choices. In this paper, we describe the current status of the Metrics Reloaded recommendation framework, with the goal of obtaining constructive feedback from the image analysis community. The current version has been developed within an international consortium of more than 60 image analysis experts and will be made openly available as a user-friendly toolkit after community-driven optimization.
• Abstract（参考訳）: 自動バイオメディカル画像解析の分野は、アルゴリズム検証のためのロバストで有意義なパフォーマンス指標に依存する。 しかし、現在のメートル法の使用はしばしば不正であり、基礎となるドメインの関心を反映していない。 本稿では、研究者が問題意識でパフォーマンス指標を選択するための包括的なフレームワークを提案する。 具体的には,画像,物体,画素レベルでの分類課題として解釈できる生体画像解析問題に焦点を当てる。 このフレームワークはまず、与えられた問題のドメイン関心、対象構造、データセット、アルゴリズム出力関連特性を問題指紋にコンパイルすると同時に、イメージレベルの分類、セマンティックセグメンテーション、インスタンスセグメンテーション、オブジェクト検出といった適切な問題カテゴリにマッピングする。 次に、ユーザに対して、適切な検証メトリクスを選択して適用するプロセスを通じて、個々の選択に関連する潜在的な落とし穴を認識させる。 本稿では,画像解析コミュニティからコンストラクティブなフィードバックを得ることを目的として,メトリクスリロードされたレコメンデーションフレームワークの現状について述べる。 現在のバージョンは60人以上の画像分析専門家による国際コンソーシアムで開発されており、コミュニティ主導の最適化の後、ユーザフレンドリーなツールキットとして公開される予定だ。

関連論文リスト

• A Comprehensive Library for Benchmarking Multi-class Visual Anomaly Detection [52.228708947607636]
  本稿では,新しい手法のモジュラーフレームワークであるADerを包括的視覚異常検出ベンチマークとして紹介する。 このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。 我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
  論文  参考訳（メタデータ） (2024-06-05T13:40:07Z)
• Weakly-Supervised Cross-Domain Segmentation of Electron Microscopy with Sparse Point Annotation [1.124958340749622]
  カウント,検出,セグメンテーションタスク間の相関を利用したマルチタスク学習フレームワークを提案する。 ラベル拡張のためのクロスポジションカット・アンド・ペーストを開発し,エントロピーに基づく擬似ラベル選択を行う。 提案手法は, UDA法を著しく上回り, 教師付き手法と同等の性能を発揮する。
  論文  参考訳（メタデータ） (2024-03-31T12:22:23Z)
• Understanding metric-related pitfalls in image analysis validation [59.15220116166561]
  この研究は、画像解析におけるバリデーションメトリクスに関連する落とし穴に関する情報にアクセスするための、初めての包括的な共通点を提供する。 バイオメディカル画像解析に焦点をあてるが、他の分野へ移行する可能性があるため、対処された落とし穴はアプリケーションドメイン全体にわたって一般化され、新しく作成されたドメインに依存しない分類に分類される。
  論文  参考訳（メタデータ） (2023-02-03T14:57:40Z)
• SGDR: Semantic-guided Disentangled Representation for Unsupervised Cross-modality Medical Image Segmentation [5.090366802287405]
  本稿では,セグメンテーションタスクにおいて意味論的に意味のある特徴を正確に表現するために,意味誘導非絡み合い表現(SGDR)と呼ばれる新しいフレームワークを提案する。 提案手法を2つの公開データセットで検証し, 実験結果から, 2つの評価指標における工法の現状を, 有意差で比較した。
  論文  参考訳（メタデータ） (2022-03-26T08:31:00Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• How can we learn (more) from challenges? A statistical approach to driving future algorithm development [1.0690055408831725]
  本稿では,課題から学習し,腹腔鏡ビデオにおけるインスタンスセグメンテーションの具体的タスクをインスタンス化する統計フレームワークを提案する。 2,728枚の画像から51,542個のメタデータを抽出し,ロバスト・メディカル・インスツルメンツ・チャレンジ(ROBUST-MIS)の結果に適用した。 提案手法の開発は,従来の手法が失敗する傾向にあった画像の処理において,最先端の総合的性能と具体的な強みを有する深層学習モデルを得た。
  論文  参考訳（メタデータ） (2021-06-17T08:12:37Z)
• Common Limitations of Image Processing Metrics: A Picture Story [58.83274952067888]
  本論文は, 画像レベルの分類, セマンティックセグメンテーション, インスタンスセグメンテーション, オブジェクト検出タスクと表現できるバイオメディカル画像解析問題に焦点を当てる。 現在のバージョンは、世界中の60以上の機関からの画像分析の専門家からなる国際コンソーシアムが実施するメトリクスに関するDelphiプロセスに基づいている。
  論文  参考訳（メタデータ） (2021-04-12T17:03:42Z)
• Panoptic Feature Fusion Net: A Novel Instance Segmentation Paradigm for Biomedical and Biological Images [91.41909587856104]
  本稿では,本研究における意味的特徴とインスタンス的特徴を統一するPanoptic Feature Fusion Net(PFFNet)を提案する。 提案するPFFNetには,インスタンス予測を意味的特徴に組み込むための残注意特徴融合機構が組み込まれている。 様々なバイオメディカルおよび生物学的データセットにおいて、最先端のいくつかの手法を上回ります。
  論文  参考訳（メタデータ） (2020-02-15T09:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。