論文の概要: AMMASurv: Asymmetrical Multi-Modal Attention for Accurate Survival
Analysis with Whole Slide Images and Gene Expression Data
- arxiv url: http://arxiv.org/abs/2108.12565v1
- Date: Sat, 28 Aug 2021 04:02:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-31 15:00:18.654652
- Title: AMMASurv: Asymmetrical Multi-Modal Attention for Accurate Survival
Analysis with Whole Slide Images and Gene Expression Data
- Title(参考訳): AMMASurv:全スライド画像と遺伝子発現データを用いた生存分析のための非対称多モード注意
- Authors: Ruoqi Wang, Ziwang Huang, Haitao Wang, Hejun Wu
- Abstract要約: AMMASurvと呼ばれる新しい非対称多モード法を提案する。
AMMASurvは、すべてのモダリティにおいて本質的な情報を効果的に利用でき、異なる重要性のモダリティに柔軟に適応する。
- 参考スコア(独自算出の注目度): 2.0329335234511974
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The use of multi-modal data such as the combination of whole slide images
(WSIs) and gene expression data for survival analysis can lead to more accurate
survival predictions. Previous multi-modal survival models are not able to
efficiently excavate the intrinsic information within each modality. Moreover,
despite experimental results show that WSIs provide more effective information
than gene expression data, previous methods regard the information from
different modalities as similarly important so they cannot flexibly utilize the
potential connection between the modalities. To address the above problems, we
propose a new asymmetrical multi-modal method, termed as AMMASurv.
Specifically, we design an asymmetrical multi-modal attention mechanism (AMMA)
in Transformer encoder for multi-modal data to enable a more flexible
multi-modal information fusion for survival prediction. Different from previous
works, AMMASurv can effectively utilize the intrinsic information within every
modality and flexibly adapts to the modalities of different importance.
Extensive experiments are conducted to validate the effectiveness of the
proposed model. Encouraging results demonstrate the superiority of our method
over other state-of-the-art methods.
- Abstract(参考訳): 生存解析に全スライド画像(WSI)と遺伝子発現データの組み合わせなどのマルチモーダルデータを使用することにより、より正確な生存予測が可能になる。
従来のマルチモーダルサバイバルモデルは、各モーダリティ内の本質的な情報を効率的に掘り出すことができない。
さらに, 実験結果から, WSIsは遺伝子発現データよりも有効な情報を提供することが示されたが, 従来の手法では, 異なるモダリティからの情報を同様に重要視しており, モダリティ間の潜在的な接続を柔軟に利用できない。
上記の問題に対処するため、AMMASurvと呼ばれる新しい非対称多モード法を提案する。
具体的には、トランスフォーマーエンコーダの非対称なマルチモーダルアテンション機構(AMMA)を設計し、より柔軟なマルチモーダル情報融合による生存予測を実現する。
以前の研究と異なり、AMMASurvはすべてのモダリティにおいて本質的な情報を効果的に活用し、異なる重要性のモダリティに柔軟に適用することができる。
提案モデルの有効性を検証するために,広範な実験を行った。
提案手法は他の最先端手法よりも優れていることを示す。
関連論文リスト
- Multimodal Clinical Trial Outcome Prediction with Large Language Models [30.507002693541384]
臨床試験の結果を予測するために, LIFTED(Multimodal Mixed-of-Experts)アプローチを提案する。
LIFTEDは、異なるモダリティデータを自然言語記述に変換することで統一する。
そして、LIFTEDは統合ノイズ耐性エンコーダを構築し、モーダル固有の言語記述から情報を抽出する。
論文 参考訳(メタデータ) (2024-02-09T16:18:38Z) - Joint Self-Supervised and Supervised Contrastive Learning for Multimodal
MRI Data: Towards Predicting Abnormal Neurodevelopment [5.771221868064265]
マルチモーダルMRIデータから頑健な潜在特徴表現を学習するための,新しい自己教師付きコントラスト学習法を提案する。
本手法は,マルチモーダルデータの活用により,臨床実習におけるコンピュータ支援診断を容易にする能力を有する。
論文 参考訳(メタデータ) (2023-12-22T21:05:51Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [79.9201824151389]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
推論フェーズの間、MLAはテスト時間不確実性に基づくモデル融合機構を使用して、マルチモーダル情報を統合する。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - HEALNet -- Hybrid Multi-Modal Fusion for Heterogeneous Biomedical Data [12.109041184519281]
本稿では, フレキシブルなマルチモーダル融合アーキテクチャであるHybrid Early-fusion Attention Learning Network (HEALNet)を提案する。
The Cancer Genome Atlas (TCGA) の4つの癌コホートにおける全スライド画像と多モードデータの多モード生存解析を行った。
HEALNetは最先端のパフォーマンスを実現し、ユニモーダルベースラインと最近のマルチモーダルベースラインの両方を大幅に改善した。
論文 参考訳(メタデータ) (2023-11-15T17:06:26Z) - Exploiting Modality-Specific Features For Multi-Modal Manipulation
Detection And Grounding [54.49214267905562]
マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。
本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。
本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
論文 参考訳(メタデータ) (2023-09-22T06:55:41Z) - StableLLaVA: Enhanced Visual Instruction Tuning with Synthesized
Image-Dialogue Data [129.92449761766025]
本稿では,視覚的インストラクションチューニングのための画像と対話を同期的に合成する新しいデータ収集手法を提案する。
このアプローチは生成モデルのパワーを活用し、ChatGPTとテキスト・ツー・イメージ生成モデルの能力とを結合する。
本研究は,各種データセットを対象とした総合的な実験を含む。
論文 参考訳(メタデータ) (2023-08-20T12:43:52Z) - Multi-objective optimization determines when, which and how to fuse deep
networks: an application to predict COVID-19 outcomes [1.8351254916713304]
マルチモーダル・エンド・ツー・エンドモデルのセットアップを最適化する新しい手法を提案する。
我々はAIforCOVIDデータセット上でテストを行い、最先端の結果を得た。
論文 参考訳(メタデータ) (2022-04-07T23:07:33Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳(メタデータ) (2021-11-11T14:28:12Z) - Orthogonal Statistical Inference for Multimodal Data Analysis [5.010425616264462]
マルチモーダルイメージングは神経科学の研究を変えた。
単純な関連モデルに起因する解釈可能性の利点と、高度に適応的な非線形モデルによって達成される柔軟性を組み合わせることは困難です。
論文 参考訳(メタデータ) (2021-03-12T05:04:31Z) - Modeling Shared Responses in Neuroimaging Studies through MultiView ICA [94.31804763196116]
被験者の大規模なコホートを含むグループ研究は、脳機能組織に関する一般的な結論を引き出す上で重要である。
グループ研究のための新しい多視点独立成分分析モデルを提案し、各被験者のデータを共有独立音源と雑音の線形結合としてモデル化する。
まず、fMRIデータを用いて、被験者間の共通音源の同定における感度の向上を示す。
論文 参考訳(メタデータ) (2020-06-11T17:29:53Z) - M2Net: Multi-modal Multi-channel Network for Overall Survival Time
Prediction of Brain Tumor Patients [151.4352001822956]
生存時間(OS)の早期かつ正確な予測は、脳腫瘍患者に対するより良い治療計画を得るのに役立つ。
既存の予測手法は、磁気共鳴(MR)ボリュームの局所的な病変領域における放射能特性に依存している。
我々は,マルチモーダルマルチチャネルネットワーク(M2Net)のエンドツーエンドOS時間予測モデルを提案する。
論文 参考訳(メタデータ) (2020-06-01T05:21:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。