Fugu-MT 論文翻訳(概要): M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction

論文の概要: M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction

arxiv url: http://arxiv.org/abs/2408.04170v1
Date: Thu, 8 Aug 2024 02:31:04 GMT
ステータス: 処理完了
システム内更新日: 2024-08-09 16:50:38.506501
Title: M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction
Title（参考訳）: M2EF-NN:癌生存予測のためのマルチモーダルマルチインスタンス・エビデンス融合ニューラルネットワーク
Authors: Hui Luo, Jiashuang Huang, Hengrong Ju, Tianyi Zhou, Weiping Ding,
Abstract要約: 本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。 Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
参考スコア（独自算出の注目度）: 24.323961146023358
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Accurate cancer survival prediction is crucial for assisting clinical doctors in formulating treatment plans. Multimodal data, including histopathological images and genomic data, offer complementary and comprehensive information that can greatly enhance the accuracy of this task. However, the current methods, despite yielding promising results, suffer from two notable limitations: they do not effectively utilize global context and disregard modal uncertainty. In this study, we put forward a neural network model called M2EF-NNs, which leverages multimodal and multi-instance evidence fusion techniques for accurate cancer survival prediction. Specifically, to capture global information in the images, we use a pre-trained Vision Transformer (ViT) model to obtain patch feature embeddings of histopathological images. Then, we introduce a multimodal attention module that uses genomic embeddings as queries and learns the co-attention mapping between genomic and histopathological images to achieve an early interaction fusion of multimodal information and better capture their correlations. Subsequently, we are the first to apply the Dempster-Shafer evidence theory (DST) to cancer survival prediction. We parameterize the distribution of class probabilities using the processed multimodal features and introduce subjective logic to estimate the uncertainty associated with different modalities. By combining with the Dempster-Shafer theory, we can dynamically adjust the weights of class probabilities after multimodal fusion to achieve trusted survival prediction. Finally, Experimental validation on the TCGA datasets confirms the significant improvements achieved by our proposed method in cancer survival prediction and enhances the reliability of the model.
Abstract（参考訳）: 正確ながん生存予測は、治療計画を定式化する際に臨床医師を支援するために不可欠である。病理画像やゲノムデータを含むマルチモーダルデータは、このタスクの精度を大幅に向上させる補完的かつ包括的な情報を提供する。しかし、現在の手法は有望な結果をもたらすが、グローバルな文脈を効果的に活用せず、モダルの不確実性を無視していないという2つの顕著な制限に悩まされている。本研究では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。具体的には、画像内のグローバル情報をキャプチャするために、トレーニング済みのビジョントランスフォーマー(ViT)モデルを用いて、病理像のパッチ特徴埋め込みを取得する。次に,ゲノム埋め込みをクエリとして用いたマルチモーダルアテンションモジュールを導入し,ゲノム画像と病理像のコアテンションマッピングを学習して,マルチモーダル情報の早期の相互融合を実現し,それらの相関関係をよりよく把握する。その後,癌生存予測にDST(Dempster-Shafer evidence theory)を適用した。本稿では, マルチモーダル特徴を用いたクラス確率分布のパラメータ化を行い, 異なるモーダル性に関連する不確かさを推定するために主観的論理を導入する。 Dempster-Shafer理論と組み合わせることで、マルチモーダル融合後のクラス確率の重み付けを動的に調整し、信頼できる生存予測を実現することができる。最後に,TCGAデータセットに対する実験的検証により,癌生存予測における提案手法による大幅な改善が確認され,モデルの信頼性が向上する。

関連論文リスト

Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
論文参考訳（メタデータ） (2024-05-28T13:27:30Z)
SELECTOR: Heterogeneous graph network with convolutional masked autoencoder for multimodal robust prediction of cancer survival [8.403756148610269]
がん患者生存のマルチモーダル予測は、より包括的で正確なアプローチを提供する。本稿では、畳み込みマスクエンコーダに基づく異種グラフ認識ネットワークであるSELECTORを紹介する。本手法は,モダリティ欠落とモダリティ内情報確認の両事例において,最先端の手法よりも優れていた。
論文参考訳（メタデータ） (2024-03-14T11:23:39Z)
TTMFN: Two-stream Transformer-based Multimodal Fusion Network for Survival Prediction [7.646155781863875]
生存予測のための2ストリームトランスフォーマーベースマルチモーダルフュージョンネットワーク(TTMFN)という新しいフレームワークを提案する。 TTMFNでは、異なるモード間の複雑な関係をフル活用するために、2ストリームマルチモーダルコアテンショントランスモジュールを提案する。 The Cancer Genome Atlasの4つのデータセットによる実験結果は、TMFNが最高のパフォーマンスまたは競争的な結果を得ることができることを示した。
論文参考訳（メタデータ） (2023-11-13T02:31:20Z)
Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
論文参考訳（メタデータ） (2023-08-18T21:42:52Z)
Pathology-and-genomics Multimodal Transformer for Survival Outcome Prediction [43.1748594898772]
大腸癌生存予測に病理学とゲノム学的知見を統合したマルチモーダルトランスフォーマー(PathOmics)を提案する。ギガピクセル全スライド画像における組織ミクロ環境間の内在的相互作用を捉えるための教師なし事前訓練を強調した。我々は,TCGA大腸癌と直腸癌コホートの両方に対するアプローチを評価し,提案手法は競争力があり,最先端の研究より優れていることを示す。
論文参考訳（メタデータ） (2023-07-22T00:59:26Z)
Reliable Multimodality Eye Disease Screening via Mixture of Student's t Distributions [49.4545260500952]
眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインEyeMoStについて紹介する。本モデルでは,一様性に対する局所的不確実性と融合モードに対する大域的不確実性の両方を推定し,信頼性の高い分類結果を生成する。パブリックデータセットと社内データセットの両方に関する実験結果から、我々のモデルは現在の手法よりも信頼性が高いことが判明した。
論文参考訳（メタデータ） (2023-03-17T06:18:16Z)
TMSS: An End-to-End Transformer-based Multimodal Network for Segmentation and Survival Prediction [0.0]
腫瘍学者は、分析においてこれを行うのではなく、医療画像や患者の歴史などの複数のソースから、脳内の情報を融合させる。本研究は,がんの定量化と患者の生存率推定において,腫瘍学者の分析行動を模倣する深層学習手法を提案する。
論文参考訳（メタデータ） (2022-09-12T06:22:05Z)
Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文参考訳（メタデータ） (2021-11-11T14:28:12Z)
M2Net: Multi-modal Multi-channel Network for Overall Survival Time Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文参考訳（メタデータ） (2020-06-01T05:21:37Z)
Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文参考訳（メタデータ） (2020-03-10T03:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。