論文の概要: A Multi-Modal Deep Learning Framework for Pan-Cancer Prognosis
- arxiv url: http://arxiv.org/abs/2501.07016v1
- Date: Mon, 13 Jan 2025 02:29:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:26:59.084057
- Title: A Multi-Modal Deep Learning Framework for Pan-Cancer Prognosis
- Title(参考訳): パンキャンサ予後のためのマルチモーダル深層学習フレームワーク
- Authors: Binyu Zhang, Shichao Li, Junpeng Jian, Zhu Meng, Limei Guo, Zhicheng Zhao,
- Abstract要約: 本稿では,UMPSNetというディープラーニングモデルを提案する。
UMPSNetはテキストテンプレートに4種類の重要なメタデータ(画像情報、癌型情報、治療プロトコル、診断結果)を統合し、テキストエンコーダを導入してテキストの特徴を抽出する。
multi-modality of patient data and joint training を取り入れることで、UMPSNetは全てのSOTAアプローチより優れている。
- 参考スコア(独自算出の注目度): 15.10417643788382
- License:
- Abstract: Prognostic task is of great importance as it closely related to the survival analysis of patients, the optimization of treatment plans and the allocation of resources. The existing prognostic models have shown promising results on specific datasets, but there are limitations in two aspects. On the one hand, they merely explore certain types of modal data, such as patient histopathology WSI and gene expression analysis. On the other hand, they adopt the per-cancer-per-model paradigm, which means the trained models can only predict the prognostic effect of a single type of cancer, resulting in weak generalization ability. In this paper, a deep-learning based model, named UMPSNet, is proposed. Specifically, to comprehensively understand the condition of patients, in addition to constructing encoders for histopathology images and genomic expression profiles respectively, UMPSNet further integrates four types of important meta data (demographic information, cancer type information, treatment protocols, and diagnosis results) into text templates, and then introduces a text encoder to extract textual features. In addition, the optimal transport OT-based attention mechanism is utilized to align and fuse features of different modalities. Furthermore, a guided soft mixture of experts (GMoE) mechanism is introduced to effectively address the issue of distribution differences among multiple cancer datasets. By incorporating the multi-modality of patient data and joint training, UMPSNet outperforms all SOTA approaches, and moreover, it demonstrates the effectiveness and generalization ability of the proposed learning paradigm of a single model for multiple cancer types. The code of UMPSNet is available at https://github.com/binging512/UMPSNet.
- Abstract(参考訳): 予後タスクは、患者の生存分析、治療計画の最適化、リソースの割り当てと密接に関連しているため、非常に重要である。
既存の予測モデルは、特定のデータセットに対して有望な結果を示しているが、2つの側面に制限がある。
一方、患者病理組織学WSIや遺伝子発現解析など、特定の種類のモーダルデータのみを探索する。
一方、彼らは、がんごとのモデルパラダイムを採用する。つまり、訓練されたモデルは、単一の種類のがんの予後効果しか予測できず、その結果、一般化能力は弱くなる。
本稿では,UMPSNetというディープラーニングモデルを提案する。
具体的には、患者の症状を包括的に理解するため、組織像とゲノム表現プロファイルのエンコーダの構築に加えて、UMPSNetは4種類の重要なメタデータ(デコグラフィ情報、癌型情報、治療プロトコル、診断結果)をテキストテンプレートに統合し、テキストエンコーダを導入してテキストの特徴を抽出する。
さらに、最適輸送OTに基づくアテンション機構を用いて、異なるモードの特徴の整列と融合を行う。
さらに、複数のがんデータセット間の分布差の問題を効果的に解決するために、専門家(GMoE)メカニズムのガイド付きソフトミックスが導入された。
UMPSNetは患者データと共同トレーニングの多モード性を取り入れることで、全てのSOTAアプローチを上回り、さらに、複数のがんタイプを対象とした単一モデルの学習パラダイムの有効性と一般化能力を示す。
UMPSNetのコードはhttps://github.com/binging512/UMPSNetで公開されている。
関連論文リスト
- Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - MMFusion: Multi-modality Diffusion Model for Lymph Node Metastasis Diagnosis in Esophageal Cancer [13.74067035373274]
CT画像に基づくリンパ節転移診断のためのマルチモーダルな不均一グラフに基づく条件付き特徴誘導拡散モデルを提案する。
本稿では, 悪性腫瘍とリンパ節像の関連性, 優先性を明らかにすることを目的として, マスク付き関係表現学習戦略を提案する。
論文 参考訳(メタデータ) (2024-05-15T17:52:00Z) - SELECTOR: Heterogeneous graph network with convolutional masked autoencoder for multimodal robust prediction of cancer survival [8.403756148610269]
がん患者生存のマルチモーダル予測は、より包括的で正確なアプローチを提供する。
本稿では、畳み込みマスクエンコーダに基づく異種グラフ認識ネットワークであるSELECTORを紹介する。
本手法は,モダリティ欠落とモダリティ内情報確認の両事例において,最先端の手法よりも優れていた。
論文 参考訳(メタデータ) (2024-03-14T11:23:39Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳(メタデータ) (2023-04-17T17:13:42Z) - TMSS: An End-to-End Transformer-based Multimodal Network for
Segmentation and Survival Prediction [0.0]
腫瘍学者は、分析においてこれを行うのではなく、医療画像や患者の歴史などの複数のソースから、脳内の情報を融合させる。
本研究は,がんの定量化と患者の生存率推定において,腫瘍学者の分析行動を模倣する深層学習手法を提案する。
論文 参考訳(メタデータ) (2022-09-12T06:22:05Z) - Deep Co-Attention Network for Multi-View Subspace Learning [73.3450258002607]
マルチビューサブスペース学習のための深層コアテンションネットワークを提案する。
共通情報と相補情報の両方を敵意で抽出することを目的としている。
特に、新しいクロス再構成損失を使用し、ラベル情報を利用して潜在表現の構築を誘導する。
論文 参考訳(メタデータ) (2021-02-15T18:46:44Z) - G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for
Biomarker Identification and Disease Classification [49.53651166356737]
診断によって誘導される画像データと遺伝データを統合し、解釈可能なバイオマーカーを提供する新しいディープニューラルネットワークアーキテクチャを提案する。
2つの機能的MRI(fMRI)パラダイムとSingle Nucleotide Polymorphism (SNP)データを含む統合失調症の集団研究で本モデルを評価した。
論文 参考訳(メタデータ) (2021-01-27T19:28:04Z) - Select-ProtoNet: Learning to Select for Few-Shot Disease Subtype
Prediction [55.94378672172967]
本研究は, 類似患者のサブグループを同定し, 数発の疾患のサブタイプ予測問題に焦点を当てた。
新しいモデルを開発するためにメタラーニング技術を導入し、関連する臨床課題から共通の経験や知識を抽出する。
我々の新しいモデルは、単純だが効果的なメタ学習マシンであるPrototypeal Networkと呼ばれる、慎重に設計されたメタラーナーに基づいて構築されている。
論文 参考訳(メタデータ) (2020-09-02T02:50:30Z) - A Systematic Approach to Featurization for Cancer Drug Sensitivity
Predictions with Deep Learning [49.86828302591469]
35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。
RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
論文 参考訳(メタデータ) (2020-04-30T20:42:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。