論文の概要: WsiCaption: Multiple Instance Generation of Pathology Reports for
Gigapixel Whole-Slide Images
- arxiv url: http://arxiv.org/abs/2311.16480v3
- Date: Wed, 13 Mar 2024 02:31:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 10:59:02.253978
- Title: WsiCaption: Multiple Instance Generation of Pathology Reports for
Gigapixel Whole-Slide Images
- Title(参考訳): WsiCaption: 病態レポートの複数インスタンス生成
ギガピクセル全スライド画像
- Authors: Pingyi Chen, Honglin Li, Chenglu Zhu, Sunyi Zheng, Zhongyi Shui, Lin
Yang
- Abstract要約: スライド画像全体から病理報告を生成する方法について検討する。
私たちは、最大のWSIテキストデータセット(TCGA-PathoText)をキュレートしました。
本稿では,ギガピクセルWSIの病態レポートを生成するマルチインスタンス生成モデル(MI-Gen)を提案する。
- 参考スコア(独自算出の注目度): 6.315841446240698
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Whole slide images are the foundation of digital pathology for the diagnosis
and treatment of carcinomas. Writing pathology reports is laborious and
error-prone for inexperienced pathologists. To reduce the workload and improve
clinical automation, we investigate how to generate pathology reports given
whole slide images. On the data end, we curated the largest WSI-text dataset
(TCGA-PathoText). In specific, we collected nearly 10000 high-quality WSI-text
pairs for visual-language models by recognizing and cleaning pathology reports
which narrate diagnostic slides in TCGA. On the model end, we propose the
multiple instance generative model (MI-Gen) which can produce pathology reports
for gigapixel WSIs. We benchmark our model on the largest subset of
TCGA-PathoText. Experimental results show our model can generate pathology
reports which contain multiple clinical clues and achieve competitive
performance on certain slide-level tasks. We observe that simple semantic
extraction from the pathology reports can achieve the best performance (0.838
of F1 score) on BRCA subtyping surpassing previous state-of-the-art approaches.
Our collected dataset and related code are available.
- Abstract(参考訳): 全スライド画像は、癌の診断と治療のためのデジタル病理の基礎である。
病理報告を書くことは、経験の浅い病理学者にとって、残酷でエラーを起こしやすい。
作業負荷を低減し, 臨床自動化を改善するため, スライド画像全体の病態レポートの作成方法について検討した。
データエンドでは、最大のWSIテキストデータセット(TCGA-PathoText)をキュレートしました。
具体的には,TCGAにおける診断スライドの認識とクリーニングにより,約10000の高品質なWSIテキストペアを視覚言語モデルで収集した。
モデル終端では、ギガピクセルWSIに対する病理報告を生成できる多重インスタンス生成モデル(MI-Gen)を提案する。
TCGA-PathoTextの最大のサブセットにモデルをベンチマークする。
実験結果から,本モデルでは,複数の臨床手掛かりを含む病態報告を生成でき,特定のスライドレベルタスクにおける競合性能を達成できることが示された。
本研究は, BRCA サブタイプにおいて, 診断報告から単純な意味抽出を行うことで, 従来の最先端手法を超越した性能(F1スコアの0.838)を達成できることを観察する。
収集したデータセットと関連するコードが利用可能です。
関連論文リスト
- HistGen: Histopathology Report Generation via Local-Global Feature
Encoding and Cross-modal Context Interaction [16.060286162384536]
HistGenは、病理組織学レポート生成のための学習可能なフレームワークである。
スライド画像全体(WSI)と局所的およびグローバルな粒度からの診断レポートを整列させることで、レポート生成を促進することを目的としている。
WSIレポート生成実験の結果,提案手法は最先端モデル(SOTA)よりも大きなマージンで優れていた。
論文 参考訳(メタデータ) (2024-03-08T15:51:43Z) - GRASP: GRAph-Structured Pyramidal Whole Slide Image Representation [4.5869791542071]
本稿では,スライド画像全体(WSI)をデジタル病理学で処理するためのグラフ構造化多重画像化フレームワークGRASPを提案する。
我々のアプローチは、WSIの処理における病理学者の振舞いと、WSIの階層構造から得られる利益をエミュレートするために設計されている。
従来のプール機構の代わりに収束ベースのノードアグリゲーションを導入するGRASPは、2つの異なるがんデータセットに対して最先端の手法より優れている。
論文 参考訳(メタデータ) (2024-02-06T00:03:44Z) - PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。
提案手法は画像とテキストデータを融合して生成プロセスを強化する。
我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
論文 参考訳(メタデータ) (2023-09-01T22:08:32Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳(メタデータ) (2023-03-01T23:37:45Z) - Significantly improving zero-shot X-ray pathology classification via
fine-tuning pre-trained image-text encoders [51.14431540035141]
下流のゼロショット病理分類性能を改善するために,文サンプリングと正対損失緩和に基づく新たな微調整手法を提案する。
4種類の胸部X線データセットを用いてゼロショット病理分類性能を劇的に改善した。
論文 参考訳(メタデータ) (2022-12-14T06:04:18Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - AlignTransformer: Hierarchical Alignment of Visual Regions and Disease
Tags for Medical Report Generation [50.21065317817769]
本稿では,Align Hierarchical Attention (AHA)とMulti-Grained Transformer (MGT)モジュールを含むAlign Transformerフレームワークを提案する。
パブリックなIU-XrayとMIMIC-CXRデータセットの実験は、AlignTransformerが2つのデータセットの最先端メソッドと競合する結果が得られることを示している。
論文 参考訳(メタデータ) (2022-03-18T13:43:53Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳(メタデータ) (2021-01-27T19:28:04Z) - Interpretable and synergistic deep learning for visual explanation and
statistical estimations of segmentation of disease features from medical
images [0.0]
医学画像からの病因分類やセグメンテーションのための深層学習(DL)モデルは、無関係な自然界画像からの伝達学習(TL)を用いて、ますます訓練されている。
TL後バイナリセグメンテーションに広く用いられているDLアーキテクチャの比較,厳密な統計的解析,および比較について報告する。
TIIおよびLMIモデル、コード、10,000以上の医療画像の無料GitHubリポジトリと、この研究からのGrad-CAM出力は、高度な計算医学の出発点として利用できる。
論文 参考訳(メタデータ) (2020-11-11T14:08:17Z) - A Generalized Deep Learning Framework for Whole-Slide Image Segmentation
and Analysis [0.20065923589074736]
病理組織分析は癌診断と予後における金の基準と考えられている。
深層学習に基づく技術は、さまざまな画像解析タスクにおいて、最先端の成果を提供している。
本稿では,病理組織像解析のためのディープラーニングベースのフレームワークを提案する。
論文 参考訳(メタデータ) (2020-01-01T18:05:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。