論文の概要: HDMoE: A Hierarchical Decoupling-Fusion Mixture-of-Experts Framework for Multimodal Cancer Survival Prediction
- arxiv url: http://arxiv.org/abs/2605.20891v1
- Date: Wed, 20 May 2026 08:31:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.57172
- Title: HDMoE: A Hierarchical Decoupling-Fusion Mixture-of-Experts Framework for Multimodal Cancer Survival Prediction
- Title（参考訳）: HDMoE:マルチモーダル癌生存予測のための階層的脱結合融合混合フレームワーク
- Authors: Huayi Wang, Haochao Ying, Yuyang Xu, Qiyao Zheng, jun wang, Cheng Zhang, Ying Sun, Jian Wu,
- Abstract要約: 階層型アンダーラインデカップリング・フュージョンアンダーラインMixture-underlineof-underlineExperts (HDMoE) フレームワークを提案する。
第1段階のMoEでは、共有専門家とルーティング専門家が、冗長な情報を取り除き、きめ細かい特定の特徴を抽出するために雇われている。
- 参考スコア（独自算出の注目度）: 16.809488926742194
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Multimodal survival prediction, a crucial yet challenging task, demands the integration of multimodal medical data (\eg Whole Slide Images (WSIs) and Genomic Profiles) to achieve accurate prognostic modeling. Given the inherent heterogeneity across modalities, the feature decoupling-fusion paradigm has emerged as a dominant approach. However, these methods have the following shortcomings: (1) fail to reduce the redundant information of modality features before decoupling, which negatively affects the feature decoupling and fusion effect;(2) lack the ability to model the fine-grained relationships of the features and capture the local information interactions between intra- and inter-modality features. To address these issues, we propose a \underline{H}ierarchical \underline{D}ecoupling-Fusion \underline{M}ixture-\underline{o}f-\underline{E}xperts (HDMoE) framework with two levels of MoE and \underline{R}andom \underline{F}eature \underline{R}eorganization (RFR) modules.In the first-level MoE, shared experts and routed experts are employed to remove redundant information and extract fine-grained specific features within each modality, while the second-level MoE facilitates fine-grained inter-modality feature decoupling. Besides, we design two RFR modules following each level of MoE to finely fuse intra- and inter-modality features, which can help the model capture more fine-grained relationships between modalities. Extensive experimental results on our private Liver Cancer (LC) and three TCGA public datasets confirm the effectiveness of our proposed method. Codes are available at https://github.com/ZJUMAI/HDMoE.
- Abstract（参考訳）: 重要な課題であるマルチモーダルサバイバル予測は、正確な予後モデリングを実現するために、マルチモーダル医療データ(WSI)とゲノムプロファイルの統合を要求する。
モジュラリティにまたがる固有の異質性を考えると、特徴分離融合パラダイムは支配的なアプローチとして現れている。
しかし,これらの手法には,(1)デカップリング前のモダリティ特徴の冗長な情報を減らすことができず,(2)デカップリングと融合効果に悪影響を及ぼす,(2)特徴のきめ細かい関係をモデル化し,モダリティ内特徴とモダリティ間特徴の局所的な情報相互作用を捉える能力が欠如している,という欠点がある。
これらの問題に対処するために,MoE と \underline{R}andom \underline{F}eature \underline{R}eorganization (RFR) の2つのレベルを持つフレームワークである \underline{H}ierarchical \underline{D}ecoupling-Fusion \underline{M}ixture-\underline{o}f-\underline{E}xperts (HDMoE) を提案する。
さらに、2つのRFRモジュールをMoEの各レベルに従って設計し、モダリティ内およびモダリティ間を微視的に融合させ、モデルがモダリティ間のよりきめ細かい関係を捉えるのに役立つ。
プライベート肝癌 (LC) と3つのTCGAパブリックデータセットの大規模な実験結果から, 提案法の有効性が確認された。
コードはhttps://github.com/ZJUMAI/HDMoE.comで入手できる。
関連論文リスト
- Complementarity-Supervised Spectral-Band Routing for Multimodal Emotion Recognition [60.20529806857076]
マルチモーダル感情認識は、テキスト、ビデオ、音声などの手がかりを融合させ、個人の感情状態を理解する。
従来の手法では、機械的に独立な単調なパフォーマンスに依存することと、感情タスクで要求されるきめ細かい表現と相反する粗粒の融合という2つの主な制限に直面していた。
我々は,マルチスケールバンド分解とエキスパートコラボレーションを通じて,微細な相補的特徴をモデル化するために,Atsukoという名前のComplementarity-Supervised Multi-Band Expert Networkを提案する。
論文 参考訳（メタデータ） (2026-03-07T03:58:48Z) - Modality-Specific Enhancement and Complementary Fusion for Semi-Supervised Multi-Modal Brain Tumor Segmentation [6.302779966909783]
医用画像セグメンテーションのための新しい半教師付きマルチモーダルフレームワークを提案する。
モダリティ固有のエンハンシングモジュール(MEM)を導入し、各モダリティに意味的なユニークな手がかりを強化する。
また,学習可能な相補的情報融合(CIF)モジュールを導入し,モダリティ間の相補的知識を適応的に交換する。
論文 参考訳（メタデータ） (2025-12-10T16:15:17Z) - UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation [104.59740403500132]
マルチモーダルイメージセグメンテーションは、不完全/破損したモダリティの劣化による実際のデプロイメント課題に直面している。
階層型自己教師型補償(HSSC)による統一Modality-relaxセグメンテーションネットワーク(UniMRSeg)を提案する。
我々のアプローチは、入力レベル、特徴レベル、出力レベルをまたいだ完全なモダリティと不完全なモダリティの間の表現ギャップを階層的に橋渡しします。
論文 参考訳（メタデータ） (2025-09-19T17:29:25Z) - Diffusion-based Multi-modal Synergy Interest Network for Click-through Rate Prediction [10.958001571669415]
クリックスルーレート予測では、ユーザの興味をモデル化するためにクリックスルーレート予測が使用される。
既存のCTR予測手法のほとんどは、主にIDモダリティに基づいている。
本稿では,Diffusion-based Multi-modal Synergy Interest Network (Diff-MSIN) をクリックスルー予測のためのフレームワークとして提案する。
論文 参考訳（メタデータ） (2025-08-29T09:46:16Z) - Decouple, Reorganize, and Fuse: A Multimodal Framework for Cancer Survival Prediction [25.880454851313434]
がん生存率分析は、様々な医療指標にまたがって情報を統合して生存時間の予測を行うのが一般的である。
既存の手法は主に、モダリティの異なる分離された特徴を抽出し、結合、注意、MoEベースの融合のような融合操作を実行することに焦点を当てている。
本稿では,モダリティデカップリングと動的MoE融合モジュール間のランダムな特徴再構成戦略を考案したDecoupling-Reorganization-Fusion framework(DeReF)を提案する。
論文 参考訳（メタデータ） (2025-08-26T03:18:25Z) - FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation [57.577843653775]
textbfFindRec (textbfFlexible unified textbfinformation textbfdisentanglement for multi-modal sequence textbfRecommendation)を提案する。
Stein kernel-based Integrated Information Coordination Module (IICM) は理論上、マルチモーダル特徴とIDストリーム間の分散一貫性を保証する。
マルチモーダル特徴を文脈的関連性に基づいて適応的にフィルタリング・結合するクロスモーダル・エキスパート・ルーティング機構。
論文 参考訳（メタデータ） (2025-07-07T04:09:45Z) - DiffusionCom: Structure-Aware Multimodal Diffusion Model for Multimodal Knowledge Graph Completion [15.898786167134997]
マルチモーダル知識グラフ補完(DiffusionCom)のための構造認識型マルチモーダル拡散モデルを提案する。
DiffusionComはジェネレータの生成的損失と識別的損失の両方を用いて訓練され、特徴抽出器は識別的損失にのみ最適化される。
FB15k-237-IMGデータセットとWN18-IMGデータセットの実験は、DiffusionComが最先端モデルより優れていることを示した。
論文 参考訳（メタデータ） (2025-04-09T02:50:37Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。