論文の概要: ME-Mamba: Multi-Expert Mamba with Efficient Knowledge Capture and Fusion for Multimodal Survival Analysis
- arxiv url: http://arxiv.org/abs/2509.16900v1
- Date: Sun, 21 Sep 2025 03:23:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-23 18:58:16.028831
- Title: ME-Mamba: Multi-Expert Mamba with Efficient Knowledge Capture and Fusion for Multimodal Survival Analysis
- Title(参考訳): ME-Mamba:マルチモーダルサバイバル解析のための効率的な知識キャプチャーと融合によるマルチエキスパートマンバ
- Authors: Chengsheng Zhang, Linhao Qu, Xiaoyu Liu, Zhijian Song,
- Abstract要約: 病理画像とゲノムデータを統合した マルチモーダルサバイバル分析が 有望なアプローチとして現れました
本稿では,識別学的特徴とゲノム的特徴を抽出するマルチエキスパート・マンバシステムを提案する。
本手法は比較的少ない計算量で安定かつ高精度な生存解析を実現する。
- 参考スコア(独自算出の注目度): 18.458319783609163
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Survival analysis using whole-slide images (WSIs) is crucial in cancer research. Despite significant successes, pathology images typically only provide slide-level labels, which hinders the learning of discriminative representations from gigapixel WSIs. With the rapid advancement of high-throughput sequencing technologies, multimodal survival analysis integrating pathology images and genomics data has emerged as a promising approach. We propose a Multi-Expert Mamba (ME-Mamba) system that captures discriminative pathological and genomic features while enabling efficient integration of both modalities. This approach achieves complementary information fusion without losing critical information from individual modalities, thereby facilitating accurate cancer survival analysis. Specifically, we first introduce a Pathology Expert and a Genomics Expert to process unimodal data separately. Both experts are designed with Mamba architectures that incorporate conventional scanning and attention-based scanning mechanisms, allowing them to extract discriminative features from long instance sequences containing substantial redundant or irrelevant information. Second, we design a Synergistic Expert responsible for modality fusion. It explicitly learns token-level local correspondences between the two modalities via Optimal Transport, and implicitly enhances distribution consistency through a global cross-modal fusion loss based on Maximum Mean Discrepancy. The fused feature representations are then passed to a mamba backbone for further integration. Through the collaboration of the Pathology Expert, Genomics Expert, and Synergistic Expert, our method achieves stable and accurate survival analysis with relatively low computational complexity. Extensive experimental results on five datasets in The Cancer Genome Atlas (TCGA) demonstrate our state-of-the-art performance.
- Abstract(参考訳): がん研究において,全スライディング画像(WSI)を用いた生存分析が重要である。
大きな成功にもかかわらず、病理画像は典型的にはスライドレベルのラベルしか提供せず、これはギガピクセルWSIからの識別表現の学習を妨げる。
高スループットシークエンシング技術の急速な進歩により、病理画像とゲノムデータを統合したマルチモーダルサバイバル分析が有望なアプローチとして浮上した。
本稿では,多機能マンバ (ME-Mamba) システムを提案する。
このアプローチは,個々のモダリティから重要な情報を失うことなく相補的な情報融合を実現し,がん生存率の正確な解析を容易にする。
具体的には、まず、単調なデータを個別に処理するために、病理エキスパートとゲノムエキスパートを紹介します。
どちらの専門家も、従来のスキャンと注意に基づくスキャン機構を組み込んだMambaアーキテクチャで設計されており、かなりの冗長または無関係な情報を含む長いインスタンスシーケンスから識別的特徴を抽出することができる。
第2に、モーダリティ融合に責任を持つ相乗的エキスパートを設計する。
最適輸送により両モード間のトークンレベルの局所対応を明示的に学習し、最大平均離散性に基づく大域的相互拡散損失を通じて分布一貫性を暗黙的に向上する。
融合した特徴表現は、さらに統合するために、mambaのバックボーンに渡される。
The Pathology Expert, Genomics Expert, and Synergistic Expertの協力により,本手法は比較的低計算量で安定かつ正確な生存分析を実現する。
The Cancer Genome Atlas (TCGA) の5つのデータセットの大規模な実験結果は、我々の最先端のパフォーマンスを示している。
関連論文リスト
- impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳(メタデータ) (2025-08-08T10:01:16Z) - Robust Multimodal Survival Prediction with the Latent Differentiation Conditional Variational AutoEncoder [18.519138120118125]
本研究では,マルチモーダルサバイバル予測のための条件付き遅延微分変分自動エンコーダ(LD-CVAE)を提案する。
具体的には, ギガピクセルWSIから圧縮された病理表現を学習するために, 変分情報ボトルネック変換器 (VIB-Trans) モジュールを提案する。
多様な機能を持つゲノム埋め込みの共通部分および特定の部分について学習するために,新しい遅延微分変分オートエンコーダ (LD-VAE) を開発した。
論文 参考訳(メタデータ) (2025-03-12T15:58:37Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology [6.418265127069878]
本稿では, 局所(パッチレベル)から大域(スライダーレベル)の相互作用の相補的な情報を取得するために, 早期・後期融合におけるオミック埋め込みの利用を提案する。
この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。
論文 参考訳(メタデータ) (2024-11-26T13:25:53Z) - Multimodal Cross-Task Interaction for Survival Analysis in Whole Slide Pathological Images [10.996711454572331]
病理像とゲノムプロファイルを利用した生存予測は、癌解析と予後においてますます重要である。
既存のマルチモーダル手法は、補完的な情報を統合するためのアライメント戦略に依存していることが多い。
本稿では,サブタイプ分類と生存分析タスクの因果関係を明らかにするために,MCTI(Multimodal Cross-Task Interaction)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-06-25T02:18:35Z) - MoME: Mixture of Multimodal Experts for Cancer Survival Prediction [46.520971457396726]
生存分析は、難しい課題として、全体スライド画像(WSI)とゲノムデータを総合的な意思決定のために統合する必要がある。
従来の手法ではコアテンション(co-attention)方式が用いられており、この手法は両方のモダリティから特徴を分離した後にのみ融合する。
符号化と融合を同時に行うBiased Progressive Clever(BPE)パラダイムを提案する。
論文 参考訳(メタデータ) (2024-06-14T03:44:33Z) - Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。
本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
論文 参考訳(メタデータ) (2024-03-15T17:23:38Z) - Source-Free Collaborative Domain Adaptation via Multi-Perspective
Feature Enrichment for Functional MRI Analysis [55.03872260158717]
安静時MRI機能(rs-fMRI)は、神経疾患の分析を助けるために多地点で研究されている。
ソース領域とターゲット領域の間のfMRIの不均一性を低減するための多くの手法が提案されている。
しかし、マルチサイト研究における懸念やデータストレージの負担のため、ソースデータの取得は困難である。
我々は、fMRI解析のためのソースフリー協調ドメイン適応フレームワークを設計し、事前訓練されたソースモデルとラベルなしターゲットデータのみにアクセスできるようにする。
論文 参考訳(メタデータ) (2023-08-24T01:30:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。