論文の概要: Computational Pathology at Health System Scale -- Self-Supervised Foundation Models from Three Billion Images

• arxiv url: http://arxiv.org/abs/2310.07033v1
• Date: Tue, 10 Oct 2023 21:40:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 01:04:01.446604
• Title: Computational Pathology at Health System Scale -- Self-Supervised Foundation Models from Three Billion Images
• Title（参考訳）: 健康システムスケールにおける計算病理 --30億画像からの自己教師付き基礎モデル-
• Authors: Gabriele Campanella, Ricky Kwan, Eugene Fluder, Jennifer Zeng, Aryeh Stock, Brandon Veremis, Alexandros D. Polydorides, Cyrus Hedvat, Adam Schoenfeld, Chad Vanderbilt, Patricia Kovatch, Carlos Cordon-Cardo, Thomas J. Fuchs
• Abstract要約: 本研究の目的は,学術基礎モデルの最大化と,事前学習による自己指導型学習アルゴリズムのベンチマークである。 これまでで最大の病理データセットを収集し、423万枚以上の顕微鏡スライドから30億枚以上の画像を集めました。 以上の結果から, 自然画像の事前学習と比較して, 診断データに対する事前学習は下流での学習に有益であることが示唆された。
• 参考スコア（独自算出の注目度）: 30.618749295623363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent breakthroughs in self-supervised learning have enabled the use of large unlabeled datasets to train visual foundation models that can generalize to a variety of downstream tasks. While this training paradigm is well suited for the medical domain where annotations are scarce, large-scale pre-training in the medical domain, and in particular pathology, has not been extensively studied. Previous work in self-supervised learning in pathology has leveraged smaller datasets for both pre-training and evaluating downstream performance. The aim of this project is to train the largest academic foundation model and benchmark the most prominent self-supervised learning algorithms by pre-training and evaluating downstream performance on large clinical pathology datasets. We collected the largest pathology dataset to date, consisting of over 3 billion images from over 423 thousand microscopy slides. We compared pre-training of visual transformer models using the masked autoencoder (MAE) and DINO algorithms. We evaluated performance on six clinically relevant tasks from three anatomic sites and two institutions: breast cancer detection, inflammatory bowel disease detection, breast cancer estrogen receptor prediction, lung adenocarcinoma EGFR mutation prediction, and lung cancer immunotherapy response prediction. Our results demonstrate that pre-training on pathology data is beneficial for downstream performance compared to pre-training on natural images. Additionally, the DINO algorithm achieved better generalization performance across all tasks tested. The presented results signify a phase change in computational pathology research, paving the way into a new era of more performant models based on large-scale, parallel pre-training at the billion-image scale.
• Abstract（参考訳）: 近年の自己教師付き学習のブレークスルーにより、多くのダウンストリームタスクに一般化可能な視覚的基礎モデルのトレーニングに、大きなラベルのないデータセットが利用可能になった。 この訓練パラダイムはアノテーションが不足している医学領域に適しているが、医学領域、特に病理学における大規模事前訓練は、広く研究されていない。 病理学における自己教師型学習におけるこれまでの研究は、より小さなデータセットを事前トレーニングと下流のパフォーマンス評価の両方に活用してきた。 本研究の目的は,大規模臨床病理データセットの下流性能を事前学習し,評価することにより,最大規模の学術基礎モデルをトレーニングし,最も顕著な自己教師付き学習アルゴリズムをベンチマークすることである。 423万枚以上の顕微鏡スライドから30億枚以上の画像からなる、これまでで最大の病理データセットを収集しました。 マスク付きオートエンコーダ(MAE)とDINOアルゴリズムを用いて,視覚変換器モデルの事前学習を行った。 乳がん検出,炎症性腸疾患検出,乳がんエストロゲン受容体予測,肺腺癌EGFR変異予測,肺癌免疫療法反応予測の3施設および2施設で実施した6つの臨床関連課題について評価を行った。 以上の結果から,病理データの事前トレーニングは,自然画像での事前トレーニングに比べて下流性能に有益であることが示された。 さらに、DINOアルゴリズムはテストされた全てのタスクに対してより良い一般化性能を達成した。 提案する結果は,計算病理学研究における位相変化を示し,10億画像規模での大規模並列事前学習に基づく,より高性能なモデルの新たな時代への道を開くものである。

関連論文リスト

• Abnormality-Driven Representation Learning for Radiology Imaging [0.8321462983924758]
  病変強調型コントラスト学習(LeCL)は,CTスキャンの異なる部位にわたる2次元軸方向スライスにおける異常により引き起こされる視覚的表現を得るための新しい手法である。 本研究は, 腫瘍病変位置, 肺疾患検出, 患者ステージングの3つの臨床的課題に対するアプローチを, 最先端の4つの基礎モデルと比較した。
  論文  参考訳（メタデータ） (2024-11-25T13:53:26Z)
• The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease detection [51.697248252191265]
  この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。 我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。 このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
  論文  参考訳（メタデータ） (2023-09-13T10:40:41Z)
• Weakly Supervised AI for Efficient Analysis of 3D Pathology Samples [6.381153836752796]
  3次元組織画像処理のためのボリュームブロック解析(MAMBA)のためのModality-Agnostic Multiple Case Learningを提案する。 3Dブロックベースのアプローチでは、MAMBAは2Dの単一スライスによる予測よりも優れた受信特性曲線(AUC)の0.86と0.74の領域を達成している。 さらに, 組織体積が大きくなることで予後が向上し, サンプリングバイアスによるリスク予測のばらつきが軽減されることが示唆された。
  論文  参考訳（メタデータ） (2023-07-27T14:48:02Z)
• LVM-Med: Learning Large-Scale Self-Supervised Vision Models for Medical Imaging via Second-order Graph Matching [59.01894976615714]
  LVM-Medは、大規模医療データセットに基づいてトレーニングされた、最初のディープネットワークファミリーである。 55の公開データセットから約13万の医療画像を収集しました。 LVM-Medは、多くの最先端の教師付き、自己監督型、基礎モデルよりも経験的に優れている。
  論文  参考訳（メタデータ） (2023-06-20T22:21:34Z)
• MedFMC: A Real-world Dataset and Benchmark For Foundation Model Adaptation in Medical Image Classification [41.16626194300303]
  ファンデーションモデルは、多くの場合、大規模なデータで事前訓練されているが、様々なビジョンや言語アプリケーションのジャンプ開始において、最も成功している。 最近の進歩により、下流タスクにおける基礎モデルの適応は、少数のトレーニングサンプルだけで効率的に行えるようになった。 しかし, 医用画像解析におけるそのような学習パラダイムの適用は, 一般に公開されているデータやベンチマークが不足しているため, 依然として少ない。
  論文  参考訳（メタデータ） (2023-06-16T01:46:07Z)
• Significantly improving zero-shot X-ray pathology classification via fine-tuning pre-trained image-text encoders [50.689585476660554]
  本稿では,正対損失緩和とランダムな文サンプリングを含む新たな微調整手法を提案する。 提案手法は,胸部X線データセットと3つの事前訓練モデル間のゼロショット病理分類を一貫して改善する。
  論文  参考訳（メタデータ） (2022-12-14T06:04:18Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• Application of Transfer Learning and Ensemble Learning in Image-level Classification for Breast Histopathology [9.037868656840736]
  CAD(Computer-Aided Diagnosis)では、従来の分類モデルでは、主に1つのネットワークを使って特徴を抽出する。 本稿では良性病変と悪性病変のバイナリ分類のための画像レベルラベルに基づく深層アンサンブルモデルを提案する。 結果: アンサンブルネットワークモデルにおいて、画像レベルのバイナリ分類は9,8.90%の精度を達成する。
  論文  参考訳（メタデータ） (2022-04-18T13:31:53Z)
• DeFungi: Direct Mycological Examination of Microscopic Fungi Images [0.0]
  本稿では,2つの異なる深層学習手法と3つの畳み込みニューラルネットワークモデルを用いて,5種類の菌類を分類した実験結果を提案する。 スクラッチから訓練された最高の性能モデルはインセプションV3であり、精度は73.2%だった。 構築されたデータセットは、将来の研究を促進するために、KaggleとGitHubで公開されている。
  論文  参考訳（メタデータ） (2021-09-15T14:25:28Z)
• On the Robustness of Pretraining and Self-Supervision for a Deep Learning-based Analysis of Diabetic Retinopathy [70.71457102672545]
  糖尿病網膜症における訓練方法の違いによる影響を比較検討した。 本稿では,定量的性能,学習した特徴表現の統計,解釈可能性,画像歪みに対する頑健性など,さまざまな側面について検討する。 以上の結果から,ImageNet事前学習モデルでは,画像歪みに対する性能,一般化,堅牢性が著しく向上していることが示唆された。
  論文  参考訳（メタデータ） (2021-06-25T08:32:45Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。