論文の概要: HVTSurv: Hierarchical Vision Transformer for Patient-Level Survival
Prediction from Whole Slide Image
- arxiv url: http://arxiv.org/abs/2306.17373v1
- Date: Fri, 30 Jun 2023 02:26:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 13:44:22.947230
- Title: HVTSurv: Hierarchical Vision Transformer for Patient-Level Survival
Prediction from Whole Slide Image
- Title(参考訳): HVTSurv:全スライド画像からの患者レベル生存予測のための階層型視覚変換器
- Authors: Zhuchen Shao, Yang Chen, Hao Bian, Jian Zhang, Guojun Liu, Yongbing
Zhang
- Abstract要約: 全スライド画像(WSI)に基づく生存予測は、患者レベル多重インスタンス学習(MIL)の課題である。
本稿では,HVTSurvという階層型視覚変換フレームワークを提案し,局所レベルの相対空間情報をエンコードする。
The Cancer Genome Atlas (TC)の6種類の癌に対して3,104人の患者と3,752人のWSIを用いてHVTSurvを検証する。
- 参考スコア(独自算出の注目度): 13.100966504814604
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Survival prediction based on whole slide images (WSIs) is a challenging task
for patient-level multiple instance learning (MIL). Due to the vast amount of
data for a patient (one or multiple gigapixels WSIs) and the irregularly shaped
property of WSI, it is difficult to fully explore spatial, contextual, and
hierarchical interaction in the patient-level bag. Many studies adopt random
sampling pre-processing strategy and WSI-level aggregation models, which
inevitably lose critical prognostic information in the patient-level bag. In
this work, we propose a hierarchical vision Transformer framework named
HVTSurv, which can encode the local-level relative spatial information,
strengthen WSI-level context-aware communication, and establish patient-level
hierarchical interaction. Firstly, we design a feature pre-processing strategy,
including feature rearrangement and random window masking. Then, we devise
three layers to progressively obtain patient-level representation, including a
local-level interaction layer adopting Manhattan distance, a WSI-level
interaction layer employing spatial shuffle, and a patient-level interaction
layer using attention pooling. Moreover, the design of hierarchical network
helps the model become more computationally efficient. Finally, we validate
HVTSurv with 3,104 patients and 3,752 WSIs across 6 cancer types from The
Cancer Genome Atlas (TCGA). The average C-Index is 2.50-11.30% higher than all
the prior weakly supervised methods over 6 TCGA datasets. Ablation study and
attention visualization further verify the superiority of the proposed HVTSurv.
Implementation is available at: https://github.com/szc19990412/HVTSurv.
- Abstract(参考訳): 全スライド画像(WSI)に基づく生存予測は,患者レベルのマルチインスタンス学習(MIL)において難しい課題である。
患者(複数ギガピクセルのWSI)の膨大なデータと、WSIの不規則な形状の性質から、患者レベルのバッグにおける空間的、文脈的、階層的相互作用を十分に調査することは困難である。
多くの研究は、ランダムサンプリング前処理戦略とwsiレベルの集約モデルを採用しており、患者レベルのバッグにおいて必然的に重要な予後情報を失う。
本研究では,局所的な空間情報を符号化し,WSIレベルのコンテキスト認識通信を強化し,患者レベルの階層的相互作用を確立する階層型視覚変換フレームワークHVTSurvを提案する。
まず,機能再構成とランダムウィンドウマスキングを含む機能前処理戦略を設計する。
そこで,マンハッタン距離を取り入れた局所レベル相互作用層,空間シャッフルを用いたWSIレベル相互作用層,注意プールを用いた患者レベル相互作用層など,患者レベルの表現を段階的に得るための3層を考案した。
さらに、階層ネットワークの設計はモデルをより計算効率良くするのに役立つ。
The Cancer Genome Atlas (TCGA)の6種類の癌に対して3,104人の患者と3,752人のWSIを用いてHVTSurvを検証する。
平均的なC-Indexは6つのTCGAデータセットよりも2.50-11.30%高い。
アブレーション研究と注意の可視化により、提案したHVTSurvの優位性がさらに検証される。
実装は、https://github.com/szc 19990412/HVTSurv.comで公開されている。
関連論文リスト
- Rethinking Transformer for Long Contextual Histopathology Whole Slide Image Analysis [9.090504201460817]
ヒストホイルスライド画像(英語版)(WSI)解析は、医師の日常業務における臨床がん診断のゴールドスタンダードとなっている。
従来の手法では、スライドレベルラベルのみを与えられたスライドレベルの予測を可能にするために、マルチパスラーニングが一般的であった。
大規模なWSIにおける長いシーケンスの計算複雑性を軽減するため、HIPTではリージョンスライシング、TransMILでは完全な自己アテンションの近似を採用している。
論文 参考訳(メタデータ) (2024-10-18T06:12:36Z) - Combining Graph Neural Network and Mamba to Capture Local and Global Tissue Spatial Relationships in Whole Slide Images [1.1813933389519358]
計算病理学では、ギガピクセル全体のスライド画像(WSI)から空間的特徴を抽出することが基本的な課題である。
本稿では,メッセージパッシンググラフニューラルネットワーク(GNN)と状態空間モデル(Mamba)を組み合わせて,局所的およびグローバルな空間関係を捉えるモデルを提案する。
早期肺腺癌患者の無再発生存予測に有効であった。
論文 参考訳(メタデータ) (2024-06-05T22:06:57Z) - S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である
これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。
本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T11:40:49Z) - BEL: A Bag Embedding Loss for Transformer enhances Multiple Instance
Whole Slide Image Classification [39.53132774980783]
Bag Embedding Loss (BEL) は、同一クラスのバッグ埋め込み間の距離を最小化し、異なるクラス間の距離を最大化することにより、モデルに識別可能なバッグレベルの表現を学習させる。
BELでは、TransMILは両方のデータセットのベースラインモデルよりも優れています。
論文 参考訳(メタデータ) (2023-03-02T16:02:55Z) - Hierarchical Transformer for Survival Prediction Using Multimodality
Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。
本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。
より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文 参考訳(メタデータ) (2022-11-29T23:47:56Z) - Patient-level Microsatellite Stability Assessment from Whole Slide
Images By Combining Momentum Contrast Learning and Group Patch Embeddings [6.40476282000118]
現在のアプローチでは、WSIから抽出された小さなパッチを最初に分類することで、WSIの高分解能をバイパスしている。
本稿では,WSI の高分解能情報を活用したパッチ埋め込みのモーメントコントラスト学習手法を提案する。
本手法は, パッチレベルの分類法や患者レベルの集計法と比較して, 最大で7.4%精度が向上する。
論文 参考訳(メタデータ) (2022-08-22T16:31:43Z) - GSMFlow: Generation Shifts Mitigating Flow for Generalized Zero-Shot
Learning [55.79997930181418]
Generalized Zero-Shot Learningは、目に見えないクラスから見えないクラスに意味的な知識を移すことで、目に見えないクラスと見えないクラスの両方から画像を認識することを目的としている。
生成モデルの利点を生かして、見学したクラスから学んだ知識に基づいて、現実的な見知らぬサンプルを幻覚させることは、有望な解決策である。
本研究では,複数の条件付きアフィン結合層からなるフローベース生成フレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-05T04:04:37Z) - Two-Stream Graph Convolutional Network for Intra-oral Scanner Image
Segmentation [133.02190910009384]
本稿では,2ストリームグラフ畳み込みネットワーク(TSGCN)を提案する。
TSGCNは3次元歯(表面)セグメンテーションにおいて最先端の方法よりも優れています。
論文 参考訳(メタデータ) (2022-04-19T10:41:09Z) - Learning A 3D-CNN and Transformer Prior for Hyperspectral Image
Super-Resolution [80.93870349019332]
本稿では,CNN の代わりに Transformer を用いて HSI の事前学習を行う新しい HSISR 手法を提案する。
具体的には、まず勾配アルゴリズムを用いてHSISRモデルを解き、次に展開ネットワークを用いて反復解過程をシミュレートする。
論文 参考訳(メタデータ) (2021-11-27T15:38:57Z) - Hyperspectral Classification Based on Lightweight 3-D-CNN With Transfer
Learning [67.40866334083941]
限定サンプルに基づくHSI分類のためのエンドツーエンドの3次元軽量畳み込みニューラルネットワーク(CNN)を提案する。
従来の3D-CNNモデルと比較して,提案した3D-LWNetはネットワーク構造が深く,パラメータが小さく,計算コストも低い。
本モデルでは,HSI分類の競合性能を,いくつかの最先端手法と比較した。
論文 参考訳(メタデータ) (2020-12-07T03:44:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。