論文の概要: PRISM: A Multi-Modal Generative Foundation Model for Slide-Level Histopathology
- arxiv url: http://arxiv.org/abs/2405.10254v1
- Date: Thu, 16 May 2024 16:59:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-17 13:33:15.808349
- Title: PRISM: A Multi-Modal Generative Foundation Model for Slide-Level Histopathology
- Title（参考訳）: PRISM:スライドレベル病理組織学のための多モード生成基盤モデル
- Authors: George Shaikovski, Adam Casson, Kristen Severson, Eric Zimmermann, Yi Kan Wang, Jeremy D. Kunz, Juan A. Retamero, Gerard Oakley, David Klimstra, Christopher Kanan, Matthew Hanna, Michal Zelechowski, Julian Viret, Neil Tenenholtz, James Hall, Nicolo Fusi, Razik Yousfi, Peter Hamilton, William A. Moye, Eugene Vorontsov, Siqi Liu, Thomas J. Fuchs,
- Abstract要約: 我々は,Virchhowタイルの埋め込みを基盤としたH&E染色組織学のスライドレベル基盤モデルPRISMを提案する。
PRISMは、臨床報告を生成する能力を持つスライドレベルの埋め込みを生成し、いくつかのモードで使用される。
テキストプロンプトを用いて、PRISMは教師付きアグリゲータモデルに近づいたゼロショットがん検出とサブタイピング性能を達成する。
- 参考スコア（独自算出の注目度）: 9.556246087301883
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Foundation models in computational pathology promise to unlock the development of new clinical decision support systems and models for precision medicine. However, there is a mismatch between most clinical analysis, which is defined at the level of one or more whole slide images, and foundation models to date, which process the thousands of image tiles contained in a whole slide image separately. The requirement to train a network to aggregate information across a large number of tiles in multiple whole slide images limits these models' impact. In this work, we present a slide-level foundation model for H&E-stained histopathology, PRISM, that builds on Virchow tile embeddings and leverages clinical report text for pre-training. Using the tile embeddings, PRISM produces slide-level embeddings with the ability to generate clinical reports, resulting in several modes of use. Using text prompts, PRISM achieves zero-shot cancer detection and sub-typing performance approaching and surpassing that of a supervised aggregator model. Using the slide embeddings with linear classifiers, PRISM surpasses supervised aggregator models. Furthermore, we demonstrate that fine-tuning of the PRISM slide encoder yields label-efficient training for biomarker prediction, a task that typically suffers from low availability of training data; an aggregator initialized with PRISM and trained on as little as 10% of the training data can outperform a supervised baseline that uses all of the data.
- Abstract（参考訳）: 計算病理学の基礎モデルは、新しい臨床決定支援システムと精密医療のためのモデルの開発を解き放つことを約束する。
しかし、1つ以上のスライド画像のレベルで定義されるほとんどの臨床分析と、スライド画像全体に含まれる数千もの画像タイルを別々に処理する基礎モデルとの間にはミスマッチがある。
多数のタイルにまたがる情報を複数のスライド画像に集約するためにネットワークを訓練する必要があるため、これらのモデルへの影響は制限される。
本研究では,Virchhowタイルの埋め込みをベースとしたH&E-Stained Histopathology (PRISM) のスライドレベル基盤モデルを提案し,臨床報告テキストを事前学習に活用する。
タイルの埋め込みを用いて、PRISMは臨床報告を生成できるスライドレベルの埋め込みを生成し、いくつかのモードで使用することができる。
テキストプロンプトを用いて、PRISMはゼロショットがん検出とサブタイピング性能を、教師付きアグリゲータモデルのそれより上回るように達成する。
線形分類器を用いたスライド埋め込みを用いて、PRISMは教師付きアグリゲータモデルを上回る。
さらに、PRISMスライドエンコーダの微調整により、通常、トレーニングデータの低可用性に悩まされるタスクであるバイオマーカー予測のためのラベル効率のよいトレーニングが得られ、トレーニングデータの10%を初期化してトレーニングしたアグリゲータは、すべてのデータを使用する教師付きベースラインよりも優れていることを示す。
関連論文リスト
- Benchmarking Embedding Aggregation Methods in Computational Pathology: A Clinical Data Perspective [32.93871326428446]
人工知能(AI)の最近の進歩は、医療画像と計算病理に革命をもたらしている。
デジタル全スライド画像(WSI)の解析における一定の課題は、何万ものタイルレベルの画像埋め込みをスライドレベルの表現に集約する問題である。
本研究は,9つの臨床的課題を対象とした10種類のスライドレベルのアグリゲーション手法のベンチマーク分析を行った。
論文 参考訳（メタデータ） (2024-07-10T17:00:57Z) - RET-CLIP: A Retinal Image Foundation Model Pre-trained with Clinical Diagnostic Reports [19.915033191502328]
Vision-Language Foundationモデルは、コンピュータビジョンと自然言語処理の分野でますます研究されている。
この問題に対処するために,CLIP型網膜画像基盤モデルを開発した。
我々の基礎モデルであるRET-CLIPは、カラーファンドスの一般的な特徴を抽出するために、193,865人の患者のデータセットで特別に訓練されている。
論文 参考訳（メタデータ） (2024-05-23T03:20:51Z) - A self-supervised framework for learning whole slide representations [52.774822784847565]
我々は、全スライド画像のギガピクセルスケールの自己スーパービジョンのためのSlide Pre-trained Transformer (SPT)を提案する。
バイオメディカル・マイクロスコープ・データセットを用いて,5つの診断課題におけるSPT視覚表現のベンチマークを行った。
論文 参考訳（メタデータ） (2024-02-09T05:05:28Z) - Disruptive Autoencoders: Leveraging Low-level features for 3D Medical
Image Pre-training [51.16994853817024]
本研究は、3Dラジオグラフィ画像のための効果的な事前学習フレームワークの設計に焦点をあてる。
ローカルマスキングと低レベルの摂動の組み合わせによって生成された破壊から、オリジナルのイメージを再構築しようとする事前トレーニングフレームワークであるDisruptive Autoencodersを紹介する。
提案する事前トレーニングフレームワークは、複数のダウンストリームタスクでテストされ、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2023-07-31T17:59:42Z) - MedFMC: A Real-world Dataset and Benchmark For Foundation Model
Adaptation in Medical Image Classification [41.16626194300303]
ファンデーションモデルは、多くの場合、大規模なデータで事前訓練されているが、様々なビジョンや言語アプリケーションのジャンプ開始において、最も成功している。
最近の進歩により、下流タスクにおける基礎モデルの適応は、少数のトレーニングサンプルだけで効率的に行えるようになった。
しかし, 医用画像解析におけるそのような学習パラダイムの適用は, 一般に公開されているデータやベンチマークが不足しているため, 依然として少ない。
論文 参考訳（メタデータ） (2023-06-16T01:46:07Z) - DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。
技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。
データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
論文 参考訳（メタデータ） (2023-04-14T15:12:19Z) - Vision-Language Modelling For Radiological Imaging and Reports In The
Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。
本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。
テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:20:00Z) - Domain-Specific Pre-training Improves Confidence in Whole Slide Image
Classification [15.354256205808273]
デジタル病理学では、全スライド画像(WSI)や病理像が用いられる。
WSIは、臨床診断のためのディープラーニングモデルに大きな課題を提起する。
論文 参考訳（メタデータ） (2023-02-20T08:42:06Z) - Learning to Exploit Temporal Structure for Biomedical Vision-Language
Processing [53.89917396428747]
視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。
トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。
我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
論文 参考訳（メタデータ） (2023-01-11T16:35:33Z) - Unsupervised pre-training of graph transformers on patient population
graphs [48.02011627390706]
異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。
自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
論文 参考訳（メタデータ） (2022-07-21T16:59:09Z) - Personalizing Pre-trained Models [23.145974171912414]
上流の事前訓練されたモデルが、下流のいくつかのショット、複数ラベル、連続的な学習タスクにどのように活用できるかを検討する。
私たちのモデルであるCLIPPER(CLIP PERsonalized)では,弱い自然言語による画像表現学習モデルであるCLIPのイメージ表現を使用している。
論文 参考訳（メタデータ） (2021-06-02T22:58:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。