論文の概要: A Multi-modal Fusion Framework Based on Multi-task Correlation Learning
for Cancer Prognosis Prediction
- arxiv url: http://arxiv.org/abs/2201.10353v1
- Date: Sat, 22 Jan 2022 15:16:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-26 14:06:34.987499
- Title: A Multi-modal Fusion Framework Based on Multi-task Correlation Learning
for Cancer Prognosis Prediction
- Title（参考訳）: 癌予後予測のためのマルチタスク相関学習に基づくマルチモーダル融合フレームワーク
- Authors: Kaiwen Tan, Weixian Huang, Xiaofeng Liu, Jinlong Hu, Shoubin Dong
- Abstract要約: 生存分析とがん分類のためのマルチタスク相関学習(MultiCoFusion)に基づくマルチモーダル融合フレームワークを提案する。
The Cancer Genome Atlas (TCGA) のグリオーマデータセットを用いて我々の枠組みを体系的に評価した。
- 参考スコア（独自算出の注目度）: 8.476394437053477
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Morphological attributes from histopathological images and molecular profiles
from genomic data are important information to drive diagnosis, prognosis, and
therapy of cancers. By integrating these heterogeneous but complementary data,
many multi-modal methods are proposed to study the complex mechanisms of
cancers, and most of them achieve comparable or better results from previous
single-modal methods. However, these multi-modal methods are restricted to a
single task (e.g., survival analysis or grade classification), and thus neglect
the correlation between different tasks. In this study, we present a
multi-modal fusion framework based on multi-task correlation learning
(MultiCoFusion) for survival analysis and cancer grade classification, which
combines the power of multiple modalities and multiple tasks. Specifically, a
pre-trained ResNet-152 and a sparse graph convolutional network (SGCN) are used
to learn the representations of histopathological images and mRNA expression
data respectively. Then these representations are fused by a fully connected
neural network (FCNN), which is also a multi-task shared network. Finally, the
results of survival analysis and cancer grade classification output
simultaneously. The framework is trained by an alternate scheme. We
systematically evaluate our framework using glioma datasets from The Cancer
Genome Atlas (TCGA). Results demonstrate that MultiCoFusion learns better
representations than traditional feature extraction methods. With the help of
multi-task alternating learning, even simple multi-modal concatenation can
achieve better performance than other deep learning and traditional methods.
Multi-task learning can improve the performance of multiple tasks not just one
of them, and it is effective in both single-modal and multi-modal data.
- Abstract（参考訳）: 病理組織像およびゲノムデータからの分子プロファイルによる形態的特徴は、診断、予後、がん治療を駆動する重要な情報である。
これらの異質であるが相補的なデータを統合することで、がんの複雑なメカニズムを研究するために多くのマルチモーダル法が提案され、その多くは以前の単一モーダル法と同等あるいはより良い結果が得られる。
しかし、これらのマルチモーダル手法は単一のタスク(例えば、生存分析やグレード分類)に限定されており、異なるタスク間の相関を無視する。
本研究では,マルチタスク相関学習(multi-task correlation learning:multicofusion)に基づくマルチモーダル融合フレームワークを提案する。
具体的には、予め訓練されたResNet-152とスパースグラフ畳み込みネットワーク(SGCN)を用いて、それぞれ病理像とmRNA発現データの表現を学習する。
次に、これらの表現は、マルチタスク共有ネットワークである完全接続ニューラルネットワーク(FCNN)によって融合される。
最後に、生存率分析とがん分類の結果を同時に出力する。
フレームワークは代替スキームによってトレーニングされる。
The Cancer Genome Atlas (TCGA)のグリオーマデータセットを用いて,我々の枠組みを体系的に評価した。
その結果,マルチコフュージョンは従来の特徴抽出法よりも優れた表現を学習できることがわかった。
マルチタスク交互学習の助けを借りて、単純なマルチモーダル結合でさえ、他のディープラーニングや従来の手法よりも優れたパフォーマンスを達成することができる。
マルチタスク学習は一つのタスクだけでなく複数のタスクのパフォーマンスを向上させることができ、シングルモーダルデータとマルチモーダルデータの両方に有効である。
関連論文リスト
- M2EF-NNs: Multimodal Multi-instance Evidence Fusion Neural Networks for Cancer Survival Prediction [24.323961146023358]
本稿では,M2EF-NNと呼ばれるニューラルネットワークモデルを提案する。
画像中のグローバル情報をキャプチャするために、事前訓練された視覚変換器(ViT)モデルを用いる。
Dempster-Shaferエビデンス理論(DST)を癌生存予測に適用した最初の例である。
論文 参考訳（メタデータ） (2024-08-08T02:31:04Z) - Joint Self-Supervised and Supervised Contrastive Learning for Multimodal
MRI Data: Towards Predicting Abnormal Neurodevelopment [5.771221868064265]
マルチモーダルMRIデータから頑健な潜在特徴表現を学習するための,新しい自己教師付きコントラスト学習法を提案する。
本手法は,マルチモーダルデータの活用により,臨床実習におけるコンピュータ支援診断を容易にする能力を有する。
論文 参考訳（メタデータ） (2023-12-22T21:05:51Z) - HEALNet: Multimodal Fusion for Heterogeneous Biomedical Data [10.774128925670183]
本稿では,フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つのがんデータセットにおける全スライド画像と多モードデータを用いたマルチモーダルサバイバル解析を行った。
HEALNetは、他のエンドツーエンドの訓練された融合モデルと比較して最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-11-15T17:06:26Z) - Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。
本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
論文 参考訳（メタデータ） (2023-03-16T09:14:26Z) - Channel Exchanging Networks for Multimodal and Multitask Dense Image
Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。
CENは異なるモダリティのワーク間でチャネルを動的に交換する。
濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文 参考訳（メタデータ） (2021-12-04T05:47:54Z) - A Multi-Stage Attentive Transfer Learning Framework for Improving
COVID-19 Diagnosis [49.3704402041314]
新型コロナの診断を改善するための多段階集中移動学習フレームワークを提案する。
提案するフレームワークは、複数のソースタスクと異なるドメインのデータから知識を学習し、正確な診断モデルを訓練する3つの段階からなる。
本稿では,肺CT画像のマルチスケール表現を学習するための自己教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-01-14T01:39:19Z) - Self-Supervised Multimodal Domino: in Search of Biomarkers for
Alzheimer's Disease [19.86082635340699]
自己監督型表現学習アルゴリズムを編成する合理的な方法の分類法を提案する。
まず,おもちゃのマルチモーダルMNISTデータセットのモデルを評価し,アルツハイマー病患者を用いたマルチモーダル・ニューロイメージングデータセットに適用した。
提案手法は,従来の自己教師付きエンコーダデコーダ法よりも優れていた。
論文 参考訳（メタデータ） (2020-12-25T20:28:13Z) - MultiMix: Sparingly Supervised, Extreme Multitask Learning From Medical
Images [13.690075845927606]
本稿では,病気の分類と解剖学的分類を軽視的に学習する新しいマルチタスク学習モデルであるMultiMixを提案する。
胸部X線画像からの肺炎の分類と肺の分画に対するマルチタスキングモデルの有効性について検討した。
論文 参考訳（メタデータ） (2020-10-28T03:47:29Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳（メタデータ） (2020-06-01T05:21:37Z) - MS-Net: Multi-Site Network for Improving Prostate Segmentation with
Heterogeneous MRI Data [75.73881040581767]
本稿では,ロバスト表現を学習し,前立腺のセグメンテーションを改善するための新しいマルチサイトネットワーク(MS-Net)を提案する。
当社のMS-Netは,すべてのデータセットのパフォーマンスを一貫して改善し,マルチサイト学習における最先端の手法よりも優れています。
論文 参考訳（メタデータ） (2020-02-09T14:11:50Z) - Unpaired Multi-modal Segmentation via Knowledge Distillation [77.39798870702174]
本稿では,不対向画像分割のための新しい学習手法を提案する。
提案手法では,CTおよびMRI間での畳み込みカーネルの共有により,ネットワークパラメータを多用する。
我々は2つの多クラスセグメンテーション問題に対するアプローチを広範囲に検証した。
論文 参考訳（メタデータ） (2020-01-06T20:03:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。