論文の概要: Multimodal Whole Slide Foundation Model for Pathology

• arxiv url: http://arxiv.org/abs/2411.19666v1
• Date: Fri, 29 Nov 2024 12:39:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:40.964127
• Title: Multimodal Whole Slide Foundation Model for Pathology
• Title（参考訳）: 病理学のための多モード全スライド基礎モデル
• Authors: Tong Ding, Sophia J. Wagner, Andrew H. Song, Richard J. Chen, Ming Y. Lu, Andrew Zhang, Anurag J. Vaidya, Guillaume Jaume, Muhammad Shaban, Ahrong Kim, Drew F. K. Williamson, Bowen Chen, Cristina Almagro-Perez, Paul Doucet, Sharifa Sahai, Chengkuan Chen, Daisuke Komura, Akihiro Kawabe, Shumpei Ishikawa, Georg Gerber, Tingying Peng, Long Phi Le, Faisal Mahmood,
• Abstract要約: 我々は,視覚的自己教師型学習と,病理報告と視覚言語アライメントを用いて事前学習したスライド基礎モデルであるTITANを提案する。 TITANは、汎用的なスライド表現を抽出し、リソース限定の臨床シナリオに一般化する病理報告を生成する。
• 参考スコア（独自算出の注目度）: 9.46103337205135
• License:
• Abstract: The field of computational pathology has been transformed with recent advances in foundation models that encode histopathology region-of-interests (ROIs) into versatile and transferable feature representations via self-supervised learning (SSL). However, translating these advancements to address complex clinical challenges at the patient and slide level remains constrained by limited clinical data in disease-specific cohorts, especially for rare clinical conditions. We propose TITAN, a multimodal whole slide foundation model pretrained using 335,645 WSIs via visual self-supervised learning and vision-language alignment with corresponding pathology reports and 423,122 synthetic captions generated from a multimodal generative AI copilot for pathology. Without any finetuning or requiring clinical labels, TITAN can extract general-purpose slide representations and generate pathology reports that generalize to resource-limited clinical scenarios such as rare disease retrieval and cancer prognosis. We evaluate TITAN on diverse clinical tasks and find that TITAN outperforms both ROI and slide foundation models across machine learning settings such as linear probing, few-shot and zero-shot classification, rare cancer retrieval and cross-modal retrieval, and pathology report generation.
• Abstract（参考訳）: 計算病理学の分野は、組織病理学領域(ROI)を自己教師付き学習(SSL)を介して汎用的で伝達可能な特徴表現にエンコードする基盤モデルの最近の進歩によって変化してきた。 しかし, 疾患特異的コホート(特に稀な臨床疾患)における臨床データによって, 患者やスライドレベルにおける複雑な臨床上の課題に対処するために, これらの進歩を翻訳することは依然として限られている。 TITANは335,645 WSIを用いて事前訓練された多モーダル全スライド基盤モデルであり、視覚的な自己教師付き学習と、それに対応する病理報告と、多モーダル生成型AIコーパスから生成された423,122の合成キャプションを併用する。 微調整も臨床ラベルも必要とせず、TITANは汎用的なスライド表現を抽出し、希少な疾患検索や癌予後などのリソース限定の臨床シナリオに一般化する病理報告を生成することができる。 我々はTITANを様々な臨床課題で評価し、TITANはリニアプローブ、少数ショット、ゼロショット分類、まれながん検索とクロスモーダル検索、病理報告生成などの機械学習設定においてROIとスライドの基礎モデルの両方に優れていることを見出した。

関連論文リスト

• Clinical-grade Multi-Organ Pathology Report Generation for Multi-scale Whole Slide Images via a Semantically Guided Medical Text Foundation Model [3.356716093747221]
  患者に対する病理報告を生成するために, 患者レベル多臓器報告生成(PMPRG)モデルを提案する。 我々のモデルはMETEORスコア0.68を達成し、我々のアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-09-23T22:22:32Z)
• PathInsight: Instruction Tuning of Multimodal Datasets and Models for Intelligence Assisted Diagnosis in Histopathology [7.87900104748629]
  6つの異なるタスクをカバーする約45,000のケースのデータセットを慎重にコンパイルしました。 特にLLaVA, Qwen-VL, InternLMを微調整したマルチモーダル大規模モデルで, このデータセットを用いて命令ベースの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-13T17:05:06Z)
• Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
  特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。 本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-08T09:08:42Z)
• RET-CLIP: A Retinal Image Foundation Model Pre-trained with Clinical Diagnostic Reports [19.915033191502328]
  Vision-Language Foundationモデルは、コンピュータビジョンと自然言語処理の分野でますます研究されている。 この問題に対処するために,CLIP型網膜画像基盤モデルを開発した。 我々の基礎モデルであるRET-CLIPは、カラーファンドスの一般的な特徴を抽出するために、193,865人の患者のデータセットで特別に訓練されている。
  論文  参考訳（メタデータ） (2024-05-23T03:20:51Z)
• A Transformer-based representation-learning model with unified processing of multimodal input for clinical diagnostics [63.106382317917344]
  本稿では,マルチモーダル入力を統一的に処理する臨床診断支援として,トランスフォーマーを用いた表現学習モデルについて報告する。 統一モデルは, 肺疾患の同定において, 画像のみのモデル, 非統一型マルチモーダル診断モデルより優れていた。
  論文  参考訳（メタデータ） (2023-06-01T16:23:47Z)
• PathAsst: A Generative Foundation AI Assistant Towards Artificial General Intelligence of Pathology [15.419350834457136]
  病理学における診断・予測分析に革命をもたらすための多モード生成基盤AIアシスタントであるPathAsstを提案する。 PathAsstの開発には、データ取得、CLIPモデル適応、PathAsstのマルチモーダル生成機能のトレーニングの3つの重要なステップが含まれている。 PathAsstの実験結果は、病理診断と治療プロセスを改善するためにAIを利用した生成基盤モデルを活用する可能性を示している。
  論文  参考訳（メタデータ） (2023-05-24T11:55:50Z)
• PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain [2.3628956573813498]
  大規模な病理データベースのテキストマイニングが成功すれば、「ビッグデータ」がん研究の進展に重要な役割を果たす可能性がある。 病理学の分野での急速なデータマイニング開発を支援するために、病理学固有の言語空間は存在しない。 PathologyBERTは,347,173例の病理組織学的報告に基づいて訓練された,訓練済みの仮面言語モデルである。
  論文  参考訳（メタデータ） (2022-05-13T20:42:07Z)
• Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype Prediction [55.94378672172967]
  本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。 新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。 我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
  論文  参考訳（メタデータ） (2020-09-02T02:50:30Z)
• Trajectories, bifurcations and pseudotime in large clinical datasets: applications to myocardial infarction and diabetes data [94.37521840642141]
  混合データ型と欠落値を特徴とする大規模臨床データセット分析のための半教師付き方法論を提案する。 この手法は、次元の減少、データの可視化、クラスタリング、特徴の選択と、部分的に順序付けられた観測列における測地距離(擬時)の定量化のタスクを同時に扱うことのできる弾性主グラフの適用に基づいている。
  論文  参考訳（メタデータ） (2020-07-07T21:04:55Z)
• Co-Heterogeneous and Adaptive Segmentation from Multi-Source and Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion Segmentation [48.504790189796836]
  我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。 本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。 CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
  論文  参考訳（メタデータ） (2020-05-27T06:58:39Z)
• Weakly supervised multiple instance learning histopathological tumor segmentation [51.085268272912415]
  スライド画像全体のセグメント化のための弱教師付きフレームワークを提案する。 トレーニングモデルに複数のインスタンス学習スキームを利用する。 提案するフレームワークは,The Cancer Genome AtlasとPatchCamelyonデータセットのマルチロケーションとマルチ中心公開データに基づいて評価されている。
  論文  参考訳（メタデータ） (2020-04-10T13:12:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。