論文の概要: An Extensive Study on Cross-Dataset Bias and Evaluation Metrics Interpretation for Machine Learning applied to Gastrointestinal Tract Abnormality Classification

• arxiv url: http://arxiv.org/abs/2005.03912v1
• Date: Fri, 8 May 2020 08:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 12:06:09.517447
• Title: An Extensive Study on Cross-Dataset Bias and Evaluation Metrics Interpretation for Machine Learning applied to Gastrointestinal Tract Abnormality Classification
• Title（参考訳）: 消化管異常分類を応用した機械学習のためのクロスデータセットバイアスと評価メトリクス解釈に関する広範囲研究
• Authors: Vajira Thambawita, Debesh Jha, Hugo Lewi Hammer, H{\aa}vard D. Johansen, Dag Johansen, P{\aa}l Halvorsen, Michael A. Riegler
• Abstract要約: GI領域における疾患の自動解析は、コンピュータ科学や医学関連雑誌でホットな話題となっている。 クロスデータセットによる評価指標と機械学習モデルの明確な理解は、この分野の研究を新たな品質レベルに導くために不可欠である。 16種類のGIトラクタ条件を分類できる5つの異なる機械学習モデルの包括的評価を行う。
• 参考スコア（独自算出の注目度）: 2.985964157078619
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Precise and efficient automated identification of Gastrointestinal (GI) tract diseases can help doctors treat more patients and improve the rate of disease detection and identification. Currently, automatic analysis of diseases in the GI tract is a hot topic in both computer science and medical-related journals. Nevertheless, the evaluation of such an automatic analysis is often incomplete or simply wrong. Algorithms are often only tested on small and biased datasets, and cross-dataset evaluations are rarely performed. A clear understanding of evaluation metrics and machine learning models with cross datasets is crucial to bring research in the field to a new quality level. Towards this goal, we present comprehensive evaluations of five distinct machine learning models using Global Features and Deep Neural Networks that can classify 16 different key types of GI tract conditions, including pathological findings, anatomical landmarks, polyp removal conditions, and normal findings from images captured by common GI tract examination instruments. In our evaluation, we introduce performance hexagons using six performance metrics such as recall, precision, specificity, accuracy, F1-score, and Matthews Correlation Coefficient to demonstrate how to determine the real capabilities of models rather than evaluating them shallowly. Furthermore, we perform cross-dataset evaluations using different datasets for training and testing. With these cross-dataset evaluations, we demonstrate the challenge of actually building a generalizable model that could be used across different hospitals. Our experiments clearly show that more sophisticated performance metrics and evaluation methods need to be applied to get reliable models rather than depending on evaluations of the splits of the same dataset, i.e., the performance metrics should always be interpreted together rather than relying on a single metric.
• Abstract（参考訳）: 消化管疾患の精密かつ効率的な診断は、より多くの患者を治療し、疾患の検出と同定の速度を改善するのに役立つ。 現在、GI領域における疾患の自動解析は、コンピュータ科学と医療関連ジャーナルの両方でホットな話題となっている。 しかし、そのような自動解析の評価は不完全か単に誤りであることが多い。 アルゴリズムは、しばしば小さく偏ったデータセットでのみテストされ、データセット間の評価はめったに行われない。 クロスデータセットによる評価指標と機械学習モデルの明確な理解は、この分野の研究を新たな品質レベルに導くために不可欠である。 そこで本研究では,グローバル特徴を用いた5つの機械学習モデルと深層ニューラルネットワークを用いて,病理所見,解剖学的ランドマーク,ポリープ除去条件,一般消化管検査器で撮影された画像から16種類のキータイプを分類可能な機械学習モデルの包括的評価を行う。 本評価では, 再現性, 精度, 特異性, 精度, F1スコア, マシューズ相関係数の6つの評価指標を用いて, モデルの性能を浅く評価するよりも, モデルの実機能を決定する方法を示す。 さらに,トレーニングとテストのために,異なるデータセットを用いてデータセット間評価を行う。 これらのクロスデータセット評価により、異なる病院で使用できる一般化可能なモデルを構築することの難しさを実演する。 私たちの実験では、同じデータセットの分割の評価に依存するのではなく、信頼性の高いモデルを得るために、より洗練されたパフォーマンスメトリクスと評価方法を適用する必要があることが明確に示されています。

関連論文リスト

• Weakly supervised deep learning model with size constraint for prostate cancer detection in multiparametric MRI and generalization to unseen domains [0.90668179713299]
  本モデルでは, 完全教師付きベースラインモデルにより, オンパー性能が向上することを示す。 また、未確認データドメインでテストした場合、完全に教師付きモデルと弱い教師付きモデルの両方のパフォーマンス低下も観察する。
  論文  参考訳（メタデータ） (2024-11-04T12:24:33Z)
• Quality assurance of organs-at-risk delineation in radiotherapy [7.698565355235687]
  放射線治療計画において,腫瘍標的と臓器の脱線は重要である。 自動セグメンテーションの品質保証は、まだ臨床実践において必要ではない。 提案手法は,一級分類フレームワークにおける残差ネットワークとアテンション機構を導入し,様々な種類のOAR輪郭誤差を高精度に検出することができた。
  論文  参考訳（メタデータ） (2024-05-20T02:32:46Z)
• Diagnosing Human-object Interaction Detectors [42.283857276076596]
  本稿では,HOI検出モデルの定量的なブレークダウン解析を行うための診断ツールボックスを提案する。 我々は8つの最先端HOI検出モデルを分析し、今後の研究を促進する貴重な診断洞察を提供する。
  論文  参考訳（メタデータ） (2023-08-16T17:39:15Z)
• Towards Unifying Anatomy Segmentation: Automated Generation of a Full-body CT Dataset via Knowledge Aggregation and Anatomical Guidelines [113.08940153125616]
  我々は533巻のボクセルレベルのラベルを142ドル(約1万2000円)で、全身CTスキャンのデータセットを作成し、解剖学的包括的カバレッジを提供する。 提案手法はラベル集約段階において手作業によるアノテーションに依存しない。 我々はCTデータに142ドルの解剖学的構造を予測できる統一解剖学的セグメンテーションモデルをリリースする。
  論文  参考訳（メタデータ） (2023-07-25T09:48:13Z)
• MedFMC: A Real-world Dataset and Benchmark For Foundation Model Adaptation in Medical Image Classification [41.16626194300303]
  ファンデーションモデルは、多くの場合、大規模なデータで事前訓練されているが、様々なビジョンや言語アプリケーションのジャンプ開始において、最も成功している。 最近の進歩により、下流タスクにおける基礎モデルの適応は、少数のトレーニングサンプルだけで効率的に行えるようになった。 しかし, 医用画像解析におけるそのような学習パラダイムの適用は, 一般に公開されているデータやベンチマークが不足しているため, 依然として少ない。
  論文  参考訳（メタデータ） (2023-06-16T01:46:07Z)
• A Real Use Case of Semi-Supervised Learning for Mammogram Classification in a Local Clinic of Costa Rica [0.5541644538483946]
  ディープラーニングモデルのトレーニングには、かなりの量のラベル付きイメージが必要です。 多くの公開データセットが、さまざまな病院や診療所のデータで構築されている。 ラベルなしデータを利用した半教師付き深層学習手法であるMixMatchを提案し評価した。
  論文  参考訳（メタデータ） (2021-07-24T22:26:50Z)
• Deep learning-based COVID-19 pneumonia classification using chest CT images: model generalizability [54.86482395312936]
  深層学習(DL)分類モデルは、異なる国の3DCTデータセット上で、COVID-19陽性患者を特定するために訓練された。 我々は、データセットと72%の列車、8%の検証、20%のテストデータを組み合わせたDLベースの9つの同一分類モデルを訓練した。 複数のデータセットでトレーニングされ、トレーニングに使用されるデータセットの1つからテストセットで評価されたモデルは、よりよいパフォーマンスを示した。
  論文  参考訳（メタデータ） (2021-02-18T21:14:52Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Trajectories, bifurcations and pseudotime in large clinical datasets: applications to myocardial infarction and diabetes data [94.37521840642141]
  混合データ型と欠落値を特徴とする大規模臨床データセット分析のための半教師付き方法論を提案する。 この手法は、次元の減少、データの可視化、クラスタリング、特徴の選択と、部分的に順序付けられた観測列における測地距離(擬時)の定量化のタスクを同時に扱うことのできる弾性主グラフの適用に基づいている。
  論文  参考訳（メタデータ） (2020-07-07T21:04:55Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)
• Self-Training with Improved Regularization for Sample-Efficient Chest X-Ray Classification [80.00316465793702]
  挑戦的なシナリオで堅牢なモデリングを可能にするディープラーニングフレームワークを提案する。 その結果,85%のラベル付きデータを用いて,大規模データ設定で学習した分類器の性能に適合する予測モデルを構築することができた。
  論文  参考訳（メタデータ） (2020-05-03T02:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。