論文の概要: Modeling Dense Multimodal Interactions Between Biological Pathways and
Histology for Survival Prediction
- arxiv url: http://arxiv.org/abs/2304.06819v1
- Date: Thu, 13 Apr 2023 21:02:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-17 15:22:42.014978
- Title: Modeling Dense Multimodal Interactions Between Biological Pathways and
Histology for Survival Prediction
- Title(参考訳): 生存予測のための生体経路と組織との高密度マルチモーダル相互作用のモデリング
- Authors: Guillaume Jaume, Anurag Vaidya, Richard Chen, Drew Williamson, Paul
Liang, Faisal Mahmood
- Abstract要約: 本稿では,パスとヒストロジーパッチトークン間の相互作用をモデル化できるメモリ効率の良いマルチモーダルトランスを提案する。
提案モデルであるSURVPATHは,非モーダルベースラインとマルチモーダルベースラインの両方に対して評価した場合に,最先端の性能を実現する。
- 参考スコア(独自算出の注目度): 3.6984952958286876
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Integrating whole-slide images (WSIs) and bulk transcriptomics for predicting
patient survival can improve our understanding of patient prognosis. However,
this multimodal task is particularly challenging due to the different nature of
these data: WSIs represent a very high-dimensional spatial description of a
tumor, while bulk transcriptomics represent a global description of gene
expression levels within that tumor. In this context, our work aims to address
two key challenges: (1) how can we tokenize transcriptomics in a semantically
meaningful and interpretable way?, and (2) how can we capture dense multimodal
interactions between these two modalities? Specifically, we propose to learn
biological pathway tokens from transcriptomics that can encode specific
cellular functions. Together with histology patch tokens that encode the
different morphological patterns in the WSI, we argue that they form
appropriate reasoning units for downstream interpretability analyses. We
propose fusing both modalities using a memory-efficient multimodal Transformer
that can model interactions between pathway and histology patch tokens. Our
proposed model, SURVPATH, achieves state-of-the-art performance when evaluated
against both unimodal and multimodal baselines on five datasets from The Cancer
Genome Atlas. Our interpretability framework identifies key multimodal
prognostic factors, and, as such, can provide valuable insights into the
interaction between genotype and phenotype, enabling a deeper understanding of
the underlying biological mechanisms at play. We make our code public at:
https://github.com/ajv012/SurvPath.
- Abstract(参考訳): 患者生存予測のための全スライディング画像(WSI)とバルク転写学の統合により,患者の予後の理解が向上する。
しかし、このマルチモーダルタスクは、これらのデータの性質が異なるため特に困難である: WSIは、腫瘍の非常に高次元的な空間的記述を表現し、バルク転写学は、腫瘍内の遺伝子発現レベルのグローバルな記述を表現している。
この文脈において、本研究は、(1)意味論的かつ解釈可能な方法で転写学をトークン化する方法の2つの主要な課題に対処することを目的としている。
これら2つのモード間の密接なマルチモーダル相互作用をどのように捉えることができるのか?
具体的には、特定の細胞機能をコードできる転写学から生物学的経路トークンを学ぶことを提案する。
WSIの様々な形態パターンを符号化する組織学的パッチトークンとともに、下流の解釈可能性分析のための適切な推論単位を形成する。
本稿では,メモリ効率の高いマルチモーダルトランスを用いて,経路と組織学的パッチトークン間の相互作用をモデル化する手法を提案する。
提案モデルであるSURVPATHは,The Cancer Genome Atlasの5つのデータセットに対して,一様および多モードのベースラインの評価を行った。
我々の解釈可能性フレームワークは、重要なマルチモーダルな予後因子を識別し、遺伝子型と表現型との相互作用に関する貴重な洞察を与え、基礎となる生物学的メカニズムのより深い理解を可能にする。
コードを公開します。 https://github.com/ajv012/SurvPath。
関連論文リスト
- Finding Interpretable Class-Specific Patterns through Efficient Neural
Search [43.454121220860564]
本稿では、データから微分パターンを抽出する、本質的に解釈可能なバイナリニューラルネットワークアーキテクチャDNAPSを提案する。
DiffNapsは何十万もの機能にスケーラブルで、ノイズに強い。
3つの生物学的応用を含む人工的および実世界のデータについて、DiffNapsは競合と異なり、常に正確で簡潔で解釈可能なクラス記述を生成する。
論文 参考訳(メタデータ) (2023-12-07T14:09:18Z) - Pathology-and-genomics Multimodal Transformer for Survival Outcome
Prediction [43.1748594898772]
大腸癌生存予測に病理学とゲノム学的知見を統合したマルチモーダルトランスフォーマー(PathOmics)を提案する。
ギガピクセル全スライド画像における組織ミクロ環境間の内在的相互作用を捉えるための教師なし事前訓練を強調した。
我々は,TCGA大腸癌と直腸癌コホートの両方に対するアプローチを評価し,提案手法は競争力があり,最先端の研究より優れていることを示す。
論文 参考訳(メタデータ) (2023-07-22T00:59:26Z) - Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。
考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
論文 参考訳(メタデータ) (2023-07-06T10:52:22Z) - Multimodal Optimal Transport-based Co-Attention Transformer with Global
Structure Consistency for Survival Prediction [5.445390550440809]
生存予測(Survival prediction)は、死亡リスクの予測を目的とした複雑な順序回帰タスクである。
病理画像の大きさが大きいため、スライド画像全体(WSI)を効果的に表現することは困難である。
組織学における腫瘍微小環境(TME)内の相互作用は生存分析に不可欠である。
論文 参考訳(メタデータ) (2023-06-14T08:01:24Z) - AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context
Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。
AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。
我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文 参考訳(メタデータ) (2023-03-01T23:37:45Z) - Learning Topological Interactions for Multi-Class Medical Image
Segmentation [7.95994513875072]
我々は、トポロジカル相互作用をディープニューラルネットワークにエンコードする新しいトポロジカル相互作用モジュールを導入する。
実装は完全に畳み込みベースなので、非常に効率的です。
本手法は,プロプライエタリデータセットとパブリックデータセットの両方において一般化可能であることを示す。
論文 参考訳(メタデータ) (2022-07-20T05:09:43Z) - High-Modality Multimodal Transformer: Quantifying Modality & Interaction
Heterogeneity for High-Modality Representation Learning [112.51498431119616]
本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。
単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
論文 参考訳(メタデータ) (2022-03-02T18:56:20Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳(メタデータ) (2021-01-27T19:28:04Z) - Weakly supervised multiple instance learning histopathological tumor
segmentation [51.085268272912415]
スライド画像全体のセグメント化のための弱教師付きフレームワークを提案する。
トレーニングモデルに複数のインスタンス学習スキームを利用する。
提案するフレームワークは,The Cancer Genome AtlasとPatchCamelyonデータセットのマルチロケーションとマルチ中心公開データに基づいて評価されている。
論文 参考訳(メタデータ) (2020-04-10T13:12:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。