論文の概要: Continually Evolved Multimodal Foundation Models for Cancer Prognosis
- arxiv url: http://arxiv.org/abs/2501.18170v2
- Date: Sat, 01 Feb 2025 03:19:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-04 12:43:25.612891
- Title: Continually Evolved Multimodal Foundation Models for Cancer Prognosis
- Title(参考訳): がん予後のための連続的多モード基盤モデル
- Authors: Jie Peng, Shuang Zhou, Longwei Yang, Yiran Song, Mohan Zhang, Kaixiong Zhou, Feng Xie, Mingquan Lin, Rui Zhang, Tianlong Chen,
- Abstract要約: がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
- 参考スコア(独自算出の注目度): 50.43145292874533
- License:
- Abstract: Cancer prognosis is a critical task that involves predicting patient outcomes and survival rates. To enhance prediction accuracy, previous studies have integrated diverse data modalities, such as clinical notes, medical images, and genomic data, leveraging their complementary information. However, existing approaches face two major limitations. First, they struggle to incorporate newly arrived data with varying distributions into training, such as patient records from different hospitals, thus rendering sub-optimal generalizability and limited utility in real-world applications. Second, most multimodal integration methods rely on simplistic concatenation or task-specific pipelines, which fail to capture the complex interdependencies across modalities. To address these, we propose a continually evolving multi-modal foundation model. Extensive experiments on the TCGA dataset demonstrate the effectiveness of our approach, highlighting its potential to advance cancer prognosis by enabling robust and adaptive multimodal integration.
- Abstract(参考訳): がん予後は、患者の予後と生存率を予測する重要なタスクである。
予測精度を高めるため、これまでの研究では、臨床ノート、医用画像、ゲノムデータなどの多様なデータモダリティを統合し、相補的な情報を活用している。
しかし、既存のアプローチには2つの大きな制限がある。
まず、各病院の患者記録など、様々な分布を持つ新たに到着したデータをトレーニングに組み込むことに苦慮し、現実の応用において、準最適一般化性と限られた実用性をもたらす。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
これらの問題に対処するため、我々は継続的に進化するマルチモーダル基盤モデルを提案する。
TCGAデータセットの大規模な実験により, 癌予後の進展の可能性を明らかにするとともに, 堅牢かつ適応的なマルチモーダル統合の実現が期待できる。
関連論文リスト
- Survival Prediction in Lung Cancer through Multi-Modal Representation Learning [9.403446155541346]
本稿では,CTとPETの包括的情報と関連するゲノムデータを用いた生存予測手法を提案する。
我々は,マルチモーダル画像データと遺伝的情報を統合することにより,生存率の予測モデルを構築することを目的とする。
論文 参考訳(メタデータ) (2024-09-30T10:42:20Z) - M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction [24.323961146023358]
本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。
画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。
Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
論文 参考訳(メタデータ) (2024-08-08T02:31:04Z) - Multi-modal Data Binding for Survival Analysis Modeling with Incomplete Data and Annotations [19.560652381770243]
我々は、モダリティと検閲されたサバイバルラベルにまたがる不完全なデータを同時に扱う新しいフレームワークを導入する。
我々のアプローチでは、高度な基礎モデルを用いて個々のモダリティを符号化し、それらを普遍的な表現空間に整列させる。
提案手法は,2つのサバイバル分析タスクにおいて,両者が適用したデータセットの予測精度に優れることを示す。
論文 参考訳(メタデータ) (2024-07-25T02:55:39Z) - Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。
モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。
パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
論文 参考訳(メタデータ) (2024-05-28T13:27:30Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳(メタデータ) (2023-12-29T14:28:04Z) - Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung
Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。
組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
論文 参考訳(メタデータ) (2023-08-18T21:42:52Z) - MaxCorrMGNN: A Multi-Graph Neural Network Framework for Generalized
Multimodal Fusion of Medical Data for Outcome Prediction [3.2889220522843625]
我々はMaxCorr MGNNと呼ばれる革新的な融合手法を開発し、患者内および患者間の非線形モダリティ相関をモデル化する。
次に,多層グラフにおけるタスクインフォームド推論のための汎用多層グラフニューラルネットワーク(MGNN)を初めて設計する。
我々は,本モデルを結核データセットにおける結果予測タスクとして評価し,最先端のニューラルネットワーク,グラフベース,従来の融合技術より一貫して優れていることを示す。
論文 参考訳(メタデータ) (2023-07-13T23:52:41Z) - Incomplete Multimodal Learning for Complex Brain Disorders Prediction [65.95783479249745]
本稿では,変換器と生成対向ネットワークを用いた不完全なマルチモーダルデータ統合手法を提案する。
アルツハイマー病神経画像イニシアチブコホートを用いたマルチモーダルイメージングによる認知変性と疾患予後の予測に本手法を適用した。
論文 参考訳(メタデータ) (2023-05-25T16:29:16Z) - MIMO: Mutual Integration of Patient Journey and Medical Ontology for
Healthcare Representation Learning [49.57261599776167]
本稿では、医療表現学習と予測分析のための、エンドツーエンドの堅牢なトランスフォーマーベースのソリューション、患者旅行の相互統合、医療オントロジー(MIMO)を提案する。
論文 参考訳(メタデータ) (2021-07-20T07:04:52Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳(メタデータ) (2020-06-01T05:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。