論文の概要: Metrics reloaded: Recommendations for image analysis validation
- arxiv url: http://arxiv.org/abs/2206.01653v8
- Date: Fri, 23 Feb 2024 13:05:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-26 18:55:57.869108
- Title: Metrics reloaded: Recommendations for image analysis validation
- Title（参考訳）: メトリクスの再ロード:画像分析検証の推奨
- Authors: Lena Maier-Hein, Annika Reinke, Patrick Godau, Minu D. Tizabi, Florian
Buettner, Evangelia Christodoulou, Ben Glocker, Fabian Isensee, Jens
Kleesiek, Michal Kozubek, Mauricio Reyes, Michael A. Riegler, Manuel
Wiesenfarth, A. Emre Kavur, Carole H. Sudre, Michael Baumgartner, Matthias
Eisenmann, Doreen Heckmann-N\"otzel, Tim R\"adsch, Laura Acion, Michela
Antonelli, Tal Arbel, Spyridon Bakas, Arriel Benis, Matthew Blaschko, M.
Jorge Cardoso, Veronika Cheplygina, Beth A. Cimini, Gary S. Collins, Keyvan
Farahani, Luciana Ferrer, Adrian Galdran, Bram van Ginneken, Robert Haase,
Daniel A. Hashimoto, Michael M. Hoffman, Merel Huisman, Pierre Jannin,
Charles E. Kahn, Dagmar Kainmueller, Bernhard Kainz, Alexandros Karargyris,
Alan Karthikesalingam, Hannes Kenngott, Florian Kofler, Annette
Kopp-Schneider, Anna Kreshuk, Tahsin Kurc, Bennett A. Landman, Geert Litjens,
Amin Madani, Klaus Maier-Hein, Anne L. Martel, Peter Mattson, Erik Meijering,
Bjoern Menze, Karel G.M. Moons, Henning M\"uller, Brennan Nichyporuk, Felix
Nickel, Jens Petersen, Nasir Rajpoot, Nicola Rieke, Julio Saez-Rodriguez,
Clara I. S\'anchez, Shravya Shetty, Maarten van Smeden, Ronald M. Summers,
Abdel A. Taha, Aleksei Tiulpin, Sotirios A. Tsaftaris, Ben Van Calster,
Ga\"el Varoquaux, Paul F. J\"ager
- Abstract要約: メトリクスのリロード(Metrics Reloaded)は、メトリクスの問題を意識した選択において研究者を導く包括的なフレームワークである。
このフレームワークは多段階のDelphiプロセスで開発され、問題指紋という新しい概念に基づいている。
問題指紋に基づいて、ユーザは適切なバリデーションメトリクスを選択して適用するプロセスを通じてガイドされる。
- 参考スコア（独自算出の注目度）: 59.60445111432934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Increasing evidence shows that flaws in machine learning (ML) algorithm
validation are an underestimated global problem. Particularly in automatic
biomedical image analysis, chosen performance metrics often do not reflect the
domain interest, thus failing to adequately measure scientific progress and
hindering translation of ML techniques into practice. To overcome this, our
large international expert consortium created Metrics Reloaded, a comprehensive
framework guiding researchers in the problem-aware selection of metrics.
Following the convergence of ML methodology across application domains, Metrics
Reloaded fosters the convergence of validation methodology. The framework was
developed in a multi-stage Delphi process and is based on the novel concept of
a problem fingerprint - a structured representation of the given problem that
captures all aspects that are relevant for metric selection, from the domain
interest to the properties of the target structure(s), data set and algorithm
output. Based on the problem fingerprint, users are guided through the process
of choosing and applying appropriate validation metrics while being made aware
of potential pitfalls. Metrics Reloaded targets image analysis problems that
can be interpreted as a classification task at image, object or pixel level,
namely image-level classification, object detection, semantic segmentation, and
instance segmentation tasks. To improve the user experience, we implemented the
framework in the Metrics Reloaded online tool, which also provides a point of
access to explore weaknesses, strengths and specific recommendations for the
most common validation metrics. The broad applicability of our framework across
domains is demonstrated by an instantiation for various biological and medical
image analysis use cases.
- Abstract（参考訳）: 機械学習(ML)アルゴリズム検証の欠陥が過小評価されているグローバルな問題であることを示す証拠が増加する。
特に自動バイオメディカル画像解析において、選択されたパフォーマンス指標は、しばしばドメインの関心を反映せず、科学的な進歩を適切に測定できず、ML技術の実践的な翻訳を妨げる。
これを解決するために、当社の大手国際専門家コンソーシアムは、メトリクスの選択を問題視する研究者を導く包括的なフレームワークであるmetrics reloadedを作成しました。
アプリケーションドメイン間のML方法論の収束に続いて、Metrics Reloadedは検証方法論の収束を促進する。
このフレームワークは多段階のDelphiプロセスで開発され、問題指紋(問題指紋)という新しい概念に基づいており、ドメインの関心事からターゲット構造の性質、データセット、アルゴリズムの出力まで、メートル法選択に関連するすべての側面をキャプチャする、与えられた問題の構造化された表現である。
問題の指紋に基づいて、ユーザは潜在的な落とし穴を認識しながら適切な検証指標を選択し、適用するプロセスを通じてガイドされる。
Metrics Reloadedは画像、オブジェクト、ピクセルレベルでの分類タスク、すなわち画像レベルの分類、オブジェクト検出、セマンティックセグメンテーション、インスタンスセグメンテーションタスクとして解釈できるイメージ分析の問題をターゲットにしている。
ユーザエクスペリエンスを改善するために、私たちはMetrics Reloadedオンラインツールにフレームワークを実装しました。
各種の生物学的・医学的画像解析症例のインスタンス化により, ドメイン間のフレームワークの広範な適用性を実証した。
関連論文リスト
- ADer: A Comprehensive Benchmark for Multi-class Visual Anomaly Detection [52.228708947607636]
本稿では,新しい異常検出手法のモジュラーフレームワークであるtextbftextitADerを提案する。
このベンチマークには、産業ドメインと医療ドメインからの複数のデータセットが含まれており、15の最先端メソッドと9つの包括的なメトリクスを実装している。
我々は,異なる手法の長所と短所を客観的に明らかにし,多クラス視覚異常検出の課題と今後の方向性について考察する。
論文 参考訳（メタデータ） (2024-06-05T13:40:07Z) - Weakly-Supervised Cross-Domain Segmentation of Electron Microscopy with Sparse Point Annotation [1.124958340749622]
カウント,検出,セグメンテーションタスク間の相関を利用したマルチタスク学習フレームワークを提案する。
ラベル拡張のためのクロスポジションカット・アンド・ペーストを開発し,エントロピーに基づく擬似ラベル選択を行う。
提案手法は, UDA法を著しく上回り, 教師付き手法と同等の性能を発揮する。
論文 参考訳（メタデータ） (2024-03-31T12:22:23Z) - Understanding metric-related pitfalls in image analysis validation [59.15220116166561]
この研究は、画像解析におけるバリデーションメトリクスに関連する落とし穴に関する情報にアクセスするための、初めての包括的な共通点を提供する。
バイオメディカル画像解析に焦点をあてるが、他の分野へ移行する可能性があるため、対処された落とし穴はアプリケーションドメイン全体にわたって一般化され、新しく作成されたドメインに依存しない分類に分類される。
論文 参考訳（メタデータ） (2023-02-03T14:57:40Z) - SGDR: Semantic-guided Disentangled Representation for Unsupervised
Cross-modality Medical Image Segmentation [5.090366802287405]
本稿では,セグメンテーションタスクにおいて意味論的に意味のある特徴を正確に表現するために,意味誘導非絡み合い表現(SGDR)と呼ばれる新しいフレームワークを提案する。
提案手法を2つの公開データセットで検証し, 実験結果から, 2つの評価指標における工法の現状を, 有意差で比較した。
論文 参考訳（メタデータ） (2022-03-26T08:31:00Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - How can we learn (more) from challenges? A statistical approach to
driving future algorithm development [1.0690055408831725]
本稿では,課題から学習し,腹腔鏡ビデオにおけるインスタンスセグメンテーションの具体的タスクをインスタンス化する統計フレームワークを提案する。
2,728枚の画像から51,542個のメタデータを抽出し,ロバスト・メディカル・インスツルメンツ・チャレンジ(ROBUST-MIS)の結果に適用した。
提案手法の開発は,従来の手法が失敗する傾向にあった画像の処理において,最先端の総合的性能と具体的な強みを有する深層学習モデルを得た。
論文 参考訳（メタデータ） (2021-06-17T08:12:37Z) - Common Limitations of Image Processing Metrics: A Picture Story [58.83274952067888]
本論文は, 画像レベルの分類, セマンティックセグメンテーション, インスタンスセグメンテーション, オブジェクト検出タスクと表現できるバイオメディカル画像解析問題に焦点を当てる。
現在のバージョンは、世界中の60以上の機関からの画像分析の専門家からなる国際コンソーシアムが実施するメトリクスに関するDelphiプロセスに基づいている。
論文 参考訳（メタデータ） (2021-04-12T17:03:42Z) - Panoptic Feature Fusion Net: A Novel Instance Segmentation Paradigm for
Biomedical and Biological Images [91.41909587856104]
本稿では,本研究における意味的特徴とインスタンス的特徴を統一するPanoptic Feature Fusion Net(PFFNet)を提案する。
提案するPFFNetには,インスタンス予測を意味的特徴に組み込むための残注意特徴融合機構が組み込まれている。
様々なバイオメディカルおよび生物学的データセットにおいて、最先端のいくつかの手法を上回ります。
論文 参考訳（メタデータ） (2020-02-15T09:19:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。