論文の概要: Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction

• arxiv url: http://arxiv.org/abs/2304.06819v1
• Date: Thu, 13 Apr 2023 21:02:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-17 15:22:42.014978
• Title: Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction
• Title（参考訳）: 生存予測のための生体経路と組織との高密度マルチモーダル相互作用のモデリング
• Authors: Guillaume Jaume, Anurag Vaidya, Richard Chen, Drew Williamson, Paul Liang, Faisal Mahmood
• Abstract要約: 本稿では,パスとヒストロジーパッチトークン間の相互作用をモデル化できるメモリ効率の良いマルチモーダルトランスを提案する。 提案モデルであるSURVPATHは,非モーダルベースラインとマルチモーダルベースラインの両方に対して評価した場合に,最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 3.6984952958286876
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Integrating whole-slide images (WSIs) and bulk transcriptomics for predicting patient survival can improve our understanding of patient prognosis. However, this multimodal task is particularly challenging due to the different nature of these data: WSIs represent a very high-dimensional spatial description of a tumor, while bulk transcriptomics represent a global description of gene expression levels within that tumor. In this context, our work aims to address two key challenges: (1) how can we tokenize transcriptomics in a semantically meaningful and interpretable way?, and (2) how can we capture dense multimodal interactions between these two modalities? Specifically, we propose to learn biological pathway tokens from transcriptomics that can encode specific cellular functions. Together with histology patch tokens that encode the different morphological patterns in the WSI, we argue that they form appropriate reasoning units for downstream interpretability analyses. We propose fusing both modalities using a memory-efficient multimodal Transformer that can model interactions between pathway and histology patch tokens. Our proposed model, SURVPATH, achieves state-of-the-art performance when evaluated against both unimodal and multimodal baselines on five datasets from The Cancer Genome Atlas. Our interpretability framework identifies key multimodal prognostic factors, and, as such, can provide valuable insights into the interaction between genotype and phenotype, enabling a deeper understanding of the underlying biological mechanisms at play. We make our code public at: https://github.com/ajv012/SurvPath.
• Abstract（参考訳）: 患者生存予測のための全スライディング画像(WSI)とバルク転写学の統合により,患者の予後の理解が向上する。 しかし、このマルチモーダルタスクは、これらのデータの性質が異なるため特に困難である: WSIは、腫瘍の非常に高次元的な空間的記述を表現し、バルク転写学は、腫瘍内の遺伝子発現レベルのグローバルな記述を表現している。 この文脈において、本研究は、(1)意味論的かつ解釈可能な方法で転写学をトークン化する方法の2つの主要な課題に対処することを目的としている。 これら2つのモード間の密接なマルチモーダル相互作用をどのように捉えることができるのか? 具体的には、特定の細胞機能をコードできる転写学から生物学的経路トークンを学ぶことを提案する。 WSIの様々な形態パターンを符号化する組織学的パッチトークンとともに、下流の解釈可能性分析のための適切な推論単位を形成する。 本稿では,メモリ効率の高いマルチモーダルトランスを用いて,経路と組織学的パッチトークン間の相互作用をモデル化する手法を提案する。 提案モデルであるSURVPATHは,The Cancer Genome Atlasの5つのデータセットに対して,一様および多モードのベースラインの評価を行った。 我々の解釈可能性フレームワークは、重要なマルチモーダルな予後因子を識別し、遺伝子型と表現型との相互作用に関する貴重な洞察を与え、基礎となる生物学的メカニズムのより深い理解を可能にする。 コードを公開します。 https://github.com/ajv012/SurvPath。

関連論文リスト

• ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
  MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。 このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。 視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
  論文  参考訳（メタデータ） (2024-09-24T05:01:23Z)
• Revisiting Adaptive Cellular Recognition Under Domain Shifts: A Contextual Correspondence View [49.03501451546763]
  生物学的文脈における暗黙の対応の重要性を明らかにする。 モデル構成成分間のインスタンス認識トレードオフを確保するために, 自己適応型動的蒸留を提案する。
  論文  参考訳（メタデータ） (2024-07-14T04:41:16Z)
• Multimodal Prototyping for cancer survival prediction [45.61869793509184]
  ギガピクセルヒストロジー全体スライディング画像(WSI)と転写学的プロファイルを組み合わせたマルチモーダルサバイバル法は,患者の予後と成層化に特に有望である。 現在のアプローチでは、WSIを小さなパッチ(>10,000パッチ)にトークン化し、トランスクリプトミクスを遺伝子グループに分割し、結果を予測するためにTransformerを使用して統合する。 このプロセスは多くのトークンを生成し、これは注意を計算するための高いメモリ要求をもたらし、ポストホック解釈可能性分析を複雑にする。 我々のフレームワークは、新しい解釈可能性解析を解き放ちながら、はるかに少ない計算で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-06-28T20:37:01Z)
• Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
  病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。 既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。 本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-25T02:18:35Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Pathology-and-genomics Multimodal Transformer for Survival Outcome Prediction [43.1748594898772]
  大腸癌生存予測に病理学とゲノム学的知見を統合したマルチモーダルトランスフォーマー(PathOmics)を提案する。 ギガピクセル全スライド画像における組織ミクロ環境間の内在的相互作用を捉えるための教師なし事前訓練を強調した。 我々は,TCGA大腸癌と直腸癌コホートの両方に対するアプローチを評価し,提案手法は競争力があり,最先端の研究より優れていることを示す。
  論文  参考訳（メタデータ） (2023-07-22T00:59:26Z)
• Agentivit\`a e telicit\`a in GilBERTo: implicazioni cognitive [77.71680953280436]
  本研究の目的は,トランスフォーマーに基づくニューラルネットワークモデルが語彙意味論を推論するかどうかを検討することである。 考慮される意味的性質は、テリシティ(定性とも組み合わされる)と作用性である。
  論文  参考訳（メタデータ） (2023-07-06T10:52:22Z)
• Learning Topological Interactions for Multi-Class Medical Image Segmentation [7.95994513875072]
  我々は、トポロジカル相互作用をディープニューラルネットワークにエンコードする新しいトポロジカル相互作用モジュールを導入する。 実装は完全に畳み込みベースなので、非常に効率的です。 本手法は,プロプライエタリデータセットとパブリックデータセットの両方において一般化可能であることを示す。
  論文  参考訳（メタデータ） (2022-07-20T05:09:43Z)
• G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
  診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
  論文  参考訳（メタデータ） (2021-01-27T19:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。