論文の概要: Hierarchical Transformer for Survival Prediction Using Multimodality Whole Slide Images and Genomics

• arxiv url: http://arxiv.org/abs/2211.16632v1
• Date: Tue, 29 Nov 2022 23:47:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 16:04:06.870853
• Title: Hierarchical Transformer for Survival Prediction Using Multimodality Whole Slide Images and Genomics
• Title（参考訳）: 多モード全スライド画像とゲノミクスを用いた生存予測のための階層変換器
• Authors: Chunyuan Li, Xinliang Zhu, Jiawen Yao and Junzhou Huang
• Abstract要約: 下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。 本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。 より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
• 参考スコア（独自算出の注目度）: 63.76637479503006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning good representation of giga-pixel level whole slide pathology images (WSI) for downstream tasks is critical. Previous studies employ multiple instance learning (MIL) to represent WSIs as bags of sampled patches because, for most occasions, only slide-level labels are available, and only a tiny region of the WSI is disease-positive area. However, WSI representation learning still remains an open problem due to: (1) patch sampling on a higher resolution may be incapable of depicting microenvironment information such as the relative position between the tumor cells and surrounding tissues, while patches at lower resolution lose the fine-grained detail; (2) extracting patches from giant WSI results in large bag size, which tremendously increases the computational cost. To solve the problems, this paper proposes a hierarchical-based multimodal transformer framework that learns a hierarchical mapping between pathology images and corresponding genes. Precisely, we randomly extract instant-level patch features from WSIs with different magnification. Then a co-attention mapping between imaging and genomics is learned to uncover the pairwise interaction and reduce the space complexity of imaging features. Such early fusion makes it computationally feasible to use MIL Transformer for the survival prediction task. Our architecture requires fewer GPU resources compared with benchmark methods while maintaining better WSI representation ability. We evaluate our approach on five cancer types from the Cancer Genome Atlas database and achieved an average c-index of $0.673$, outperforming the state-of-the-art multimodality methods.
• Abstract（参考訳）: 下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良好な表現を学習することが重要である。 これまでの研究では、WSIをサンプルパッチの袋として複数のインスタンス学習(MIL)を使用していた。 しかし,高分解能のパッチサンプリングでは腫瘍細胞と周囲の組織との相対的な位置などの微小環境情報を描けないが,低分解能のパッチでは細部の詳細が失われる,巨大なwsiからパッチを抽出すると袋のサイズが大きくなり,計算コストが大幅に増大するなど,wsi表現学習はいまだに未解決のままである。 そこで本研究では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。 正確には、WSIから異なる倍率のインスタントレベルパッチ特徴をランダムに抽出する。 その後、画像とゲノミクスのコアテンションマッピングが学習され、対の相互作用を発見し、画像の特徴の空間的複雑さを低減する。 このような早期融合により、生存予測タスクにMIL変換器を使用することができる。 より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。 我々は,癌ゲノムアトラスデータベースから5種類の癌に対するアプローチを評価し,c-indexが0.673$であり,最先端のマルチモーダリティ法よりも優れていた。

関連論文リスト

• MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models [56.37780601189795]
  本稿では,WSI分析のためのフレームワークMamMILを提案する。 私たちは各WSIを非指向グラフとして表現します。 マンバが1次元シーケンスしか処理できない問題に対処するために、トポロジ対応の走査機構を提案する。
  論文  参考訳（メタデータ） (2024-03-08T09:02:13Z)
• A self-supervised framework for learning whole slide representations [52.774822784847565]
  我々は、全スライド画像のギガピクセルスケールの自己スーパービジョンのためのSlide Pre-trained Transformer (SPT)を提案する。 バイオメディカル・マイクロスコープ・データセットを用いて,5つの診断課題におけるSPT視覚表現のベンチマークを行った。
  論文  参考訳（メタデータ） (2024-02-09T05:05:28Z)
• Affine-Consistent Transformer for Multi-Class Cell Nuclei Detection [76.11864242047074]
  本稿では, 原子核位置を直接生成する新しいアフィン一貫性変換器 (AC-Former) を提案する。 本稿では,AAT (Adaptive Affine Transformer) モジュールを導入し,ローカルネットワークトレーニングのためのオリジナル画像をワープするための重要な空間変換を自動学習する。 実験結果から,提案手法は様々なベンチマークにおいて既存の最先端アルゴリズムを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2023-10-22T02:27:02Z)
• Gene-induced Multimodal Pre-training for Image-omic Classification [20.465959546613554]
  本稿では、ゲノム情報と全スライド画像(WSI)を併用した遺伝子誘導型マルチモーダル事前学習フレームワークを提案する。 TCGAデータセットによる実験結果から,ネットワークアーキテクチャと事前学習フレームワークの優位性が示され,画像-オミクス分類の精度は99.47%に達した。
  論文  参考訳（メタデータ） (2023-09-06T04:30:15Z)
• BEL: A Bag Embedding Loss for Transformer enhances Multiple Instance Whole Slide Image Classification [39.53132774980783]
  Bag Embedding Loss (BEL) は、同一クラスのバッグ埋め込み間の距離を最小化し、異なるクラス間の距離を最大化することにより、モデルに識別可能なバッグレベルの表現を学習させる。 BELでは、TransMILは両方のデータセットのベースラインモデルよりも優れています。
  論文  参考訳（メタデータ） (2023-03-02T16:02:55Z)
• AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
  本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。 我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
  論文  参考訳（メタデータ） (2023-03-01T23:37:45Z)
• Coarse-to-Fine Sparse Transformer for Hyperspectral Image Reconstruction [138.04956118993934]
  本稿では, サース・トゥ・ファインス・スパース・トランス (CST) を用いた新しいトランス方式を提案する。 HSI再構成のための深層学習にHSI空間を埋め込んだCST 特に,CSTは,提案したスペクトル認識スクリーニング機構(SASM)を粗いパッチ選択に使用し,選択したパッチを,細かなピクセルクラスタリングと自己相似性キャプチャのために,カスタマイズしたスペクトル集約ハッシュ型マルチヘッド自己アテンション(SAH-MSA)に入力する。
  論文  参考訳（メタデータ） (2022-03-09T16:17:47Z)
• An Efficient Cervical Whole Slide Image Analysis Framework Based on Multi-scale Semantic and Spatial Features using Deep Learning [2.7218168309244652]
  本研究では,YOLCO(You Only Look Cytopathology Once)という名前の軽量モデルを構築するために,マルチスケール接続を充実させることにより,新しいインライン接続ネットワーク(InCNet)を設計する。 提案したモデルでは、入力サイズをメガピクセルに拡大し、平均リピートで重なり合うことなくWSIを縫合することができる。 統合マルチスケールマルチタスクの特徴を分類するためのTransformerに基づいて、実験結果は、WSI分類における従来の方法よりも0.872$ AUCスコアが良く、2.51times$速く見える。
  論文  参考訳（メタデータ） (2021-06-29T06:24:55Z)
• An End-to-End Breast Tumour Classification Model Using Context-Based Patch Modelling- A BiLSTM Approach for Image Classification [19.594639581421422]
  我々は, この関係を, 特定の腫瘍領域から抽出したパッチ間の特徴に基づく相関関係と統合しようと試みている。 我々は、顕微鏡画像とWSI腫瘍領域の2つのデータセットでモデルをトレーニングし、テストした。 CNN機能付きBiLSTMは、パッチをエンドツーエンドの画像分類ネットワークにモデル化する上で、はるかに優れた性能を示した。
  論文  参考訳（メタデータ） (2021-06-05T10:43:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。