Fugu-MT 論文翻訳(概要): Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images

論文の概要: Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images

arxiv url: http://arxiv.org/abs/2406.17225v1
Date: Tue, 25 Jun 2024 02:18:35 GMT
ステータス: 処理完了
システム内更新日: 2024-06-26 16:01:10.857677
Title: Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images
Title（参考訳）: 全スライド画像の生存解析のためのマルチモーダルクロスタスクインタラクション
Authors: Songhan Jiang, Zhengyu Gan, Linghan Cai, Yifeng Wang, Yongbing Zhang,
Abstract要約: 病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
参考スコア（独自算出の注目度）: 10.996711454572331
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Survival prediction, utilizing pathological images and genomic profiles, is increasingly important in cancer analysis and prognosis. Despite significant progress, precise survival analysis still faces two main challenges: (1) The massive pixels contained in whole slide images (WSIs) complicate the process of pathological images, making it difficult to generate an effective representation of the tumor microenvironment (TME). (2) Existing multimodal methods often rely on alignment strategies to integrate complementary information, which may lead to information loss due to the inherent heterogeneity between pathology and genes. In this paper, we propose a Multimodal Cross-Task Interaction (MCTI) framework to explore the intrinsic correlations between subtype classification and survival analysis tasks. Specifically, to capture TME-related features in WSIs, we leverage the subtype classification task to mine tumor regions. Simultaneously, multi-head attention mechanisms are applied in genomic feature extraction, adaptively performing genes grouping to obtain task-related genomic embedding. With the joint representation of pathological images and genomic data, we further introduce a Transport-Guided Attention (TGA) module that uses optimal transport theory to model the correlation between subtype classification and survival analysis tasks, effectively transferring potential information. Extensive experiments demonstrate the superiority of our approaches, with MCTI outperforming state-of-the-art frameworks on three public benchmarks. \href{https://github.com/jsh0792/MCTI}{https://github.com/jsh0792/MCTI}.
Abstract（参考訳）: 病理画像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。 1)スライド画像全体(WSI)に含まれる巨大なピクセルは,病理像の過程を複雑にし,腫瘍微小環境(TME)を効果的に表現することが困難である。 2) 既存のマルチモーダル手法は相補的な情報を統合するためのアライメント戦略に頼っていることが多い。本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。特に,WSIsのTME関連特徴を捉えるために,腫瘍領域のマイニングにサブタイプ分類タスクを利用する。同時に、マルチヘッドアテンション機構がゲノム特徴抽出に応用され、タスク関連ゲノム埋め込みを得るためにグループ化遺伝子を適応的に実行する。病理画像とゲノムデータの共同表現により、最適な輸送理論を用いて、サブタイプ分類と生存分析タスクの相関をモデル化し、ポテンシャル情報を効果的に伝達するトランスポートガイドアテンション(TGA)モジュールも導入する。 MCTIは3つの公開ベンチマークで最先端のフレームワークよりも優れています。 https://github.com/jsh0792/MCTI}{https://github.com/jsh0792/MCTI}

関連論文リスト

GTP-4o: Modality-prompted Heterogeneous Graph Learning for Omni-modal Biomedical Representation [68.63955715643974]
Omnimodal Learning(GTP-4o)のためのモダリティプロンプト不均質グラフ我々は、Omnimodal Learning(GTP-4o)のための革新的モダリティプロンプト不均質グラフを提案する。
論文参考訳（メタデータ） (2024-07-08T01:06:13Z)
Pathology-genomic fusion via biologically informed cross-modality graph learning for survival analysis [7.996257103473235]
そこで我々は,全スライド画像(WSI)とバルクRNA-Seq発現データと異種グラフニューラルネットワークを統合したPGHG(Pathology-Genome Heterogeneous Graph)を提案する。 PGHGは生物学的知識誘導表現学習ネットワークと病理ゲノム不均一グラフから構成される。腫瘍ゲノムアトラスの低悪性度グリオーマ,グリオーマ,腎乳頭状細胞癌データセットについて検討した。
論文参考訳（メタデータ） (2024-04-11T09:07:40Z)
MGCT: Mutual-Guided Cross-Modality Transformer for Survival Outcome Prediction using Integrative Histopathology-Genomic Features [2.3942863352287787]
Mutual-Guided Cross-Modality Transformer (MGCT) は、注意に基づくマルチモーダル学習フレームワークである。腫瘍微小環境における遺伝子型-フェノタイプ相互作用をモデル化するために,組織学的特徴とゲノム的特徴を組み合わせたMGCTを提案する。
論文参考訳（メタデータ） (2023-11-20T10:49:32Z)
Genetic InfoMax: Exploring Mutual Information Maximization in High-Dimensional Imaging Genetics Studies [50.11449968854487]
遺伝子ワイド・アソシエーション(GWAS)は、遺伝的変異と特定の形質の関係を同定するために用いられる。画像遺伝学の表現学習は、GWASによって引き起こされる固有の課題により、ほとんど探索されていない。本稿では,GWAS の具体的な課題に対処するために,トランスモーダル学習フレームワーク Genetic InfoMax (GIM) を提案する。
論文参考訳（メタデータ） (2023-09-26T03:59:21Z)
Cross-Modal Translation and Alignment for Survival Analysis [7.657906359372181]
本研究は,本質的な相互モーダル相関と伝達電位補間情報について検討する枠組みを提案する。 5つの公開TCGAデータセットに対する実験により、提案したフレームワークが最先端の手法より優れていることが示された。
論文参考訳（メタデータ） (2023-09-22T13:29:14Z)
Multimodal Optimal Transport-based Co-Attention Transformer with Global Structure Consistency for Survival Prediction [5.445390550440809]
生存予測(Survival prediction)は、死亡リスクの予測を目的とした複雑な順序回帰タスクである。病理画像の大きさが大きいため、スライド画像全体(WSI)を効果的に表現することは困難である。組織学における腫瘍微小環境(TME)内の相互作用は生存分析に不可欠である。
論文参考訳（メタデータ） (2023-06-14T08:01:24Z)
Modeling Dense Multimodal Interactions Between Biological Pathways and Histology for Survival Prediction [3.2274401541163322]
本稿では,パスとヒストロジーパッチトークン間の相互作用をモデル化できるメモリ効率の良いマルチモーダルトランスを提案する。提案モデルであるSURVPATHは,非モーダルベースラインとマルチモーダルベースラインの両方に対して評価した場合に,最先端の性能を実現する。
論文参考訳（メタデータ） (2023-04-13T21:02:32Z)
AMIGO: Sparse Multi-Modal Graph Transformer with Shared-Context Processing for Representation Learning of Giga-pixel Images [53.29794593104923]
本稿では,スライド病理像全体に対する共有コンテキスト処理の新たな概念を提案する。 AMIGOは、組織内のセルラーグラフを使用して、患者に単一の表現を提供する。我々のモデルは、データの20%以下で同じ性能を達成できる程度に、欠落した情報に対して強い堅牢性を示す。
論文参考訳（メタデータ） (2023-03-01T23:37:45Z)
Hierarchical Transformer for Survival Prediction Using Multimodality Whole Slide Images and Genomics [63.76637479503006]
下流タスクのためのギガピクセルレベルのスライド病理画像(WSI)の良質な表現を学習することが重要である。本稿では,病理画像と対応する遺伝子間の階層的マッピングを学習する階層型マルチモーダルトランスフォーマーフレームワークを提案する。より優れたWSI表現能力を維持しながら、ベンチマーク手法と比較してGPUリソースが少ないアーキテクチャです。
論文参考訳（メタデータ） (2022-11-29T23:47:56Z)
G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。 2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文参考訳（メタデータ） (2021-01-27T19:28:04Z)
Pathological Retinal Region Segmentation From OCT Images Using Geometric Relation Based Augmentation [84.7571086566595]
本稿では,幾何学と形状の内在的関係を共同で符号化することで,従来のGANベースの医用画像合成法よりも優れた手法を提案する。提案手法は,取得手順の異なる画像を有する公開RETOUCHデータセット上で,最先端のセグメンテーション手法より優れている。
論文参考訳（メタデータ） (2020-03-31T11:50:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。