論文の概要: Decouple, Reorganize, and Fuse: A Multimodal Framework for Cancer Survival Prediction

• arxiv url: http://arxiv.org/abs/2508.18632v1
• Date: Tue, 26 Aug 2025 03:18:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-27 17:42:38.655297
• Title: Decouple, Reorganize, and Fuse: A Multimodal Framework for Cancer Survival Prediction
• Title（参考訳）: 癌生存予測のためのマルチモーダル・フレームワーク「Douple, Reorganize, and Fuse」
• Authors: Huayi Wang, Haochao Ying, Yuyang Xu, Qibo Qiu, Cheng Zhang, Danny Z. Chen, Ying Sun, Jian Wu,
• Abstract要約: がん生存率分析は、様々な医療指標にまたがって情報を統合して生存時間の予測を行うのが一般的である。 既存の手法は主に、モダリティの異なる分離された特徴を抽出し、結合、注意、MoEベースの融合のような融合操作を実行することに焦点を当てている。 本稿では,モダリティデカップリングと動的MoE融合モジュール間のランダムな特徴再構成戦略を考案したDecoupling-Reorganization-Fusion framework(DeReF)を提案する。
• 参考スコア（独自算出の注目度）: 25.880454851313434
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cancer survival analysis commonly integrates information across diverse medical modalities to make survival-time predictions. Existing methods primarily focus on extracting different decoupled features of modalities and performing fusion operations such as concatenation, attention, and MoE-based (Mixture-of-Experts) fusion. However, these methods still face two key challenges: i) Fixed fusion schemes (concatenation and attention) can lead to model over-reliance on predefined feature combinations, limiting the dynamic fusion of decoupled features; ii) in MoE-based fusion methods, each expert network handles separate decoupled features, which limits information interaction among the decoupled features. To address these challenges, we propose a novel Decoupling-Reorganization-Fusion framework (DeReF), which devises a random feature reorganization strategy between modalities decoupling and dynamic MoE fusion modules.Its advantages are: i) it increases the diversity of feature combinations and granularity, enhancing the generalization ability of the subsequent expert networks; ii) it overcomes the problem of information closure and helps expert networks better capture information among decoupled features. Additionally, we incorporate a regional cross-attention network within the modality decoupling module to improve the representation quality of decoupled features. Extensive experimental results on our in-house Liver Cancer (LC) and three widely used TCGA public datasets confirm the effectiveness of our proposed method. The code will be made publicly available.
• Abstract（参考訳）: がん生存率分析は、様々な医療指標にまたがって情報を統合して生存時間の予測を行うのが一般的である。 既存の手法は主に、モダリティの異なる分離された特徴を抽出し、結合、注意、MoEベースの融合(Mixture-of-Experts)のような融合操作を実行することに焦点を当てている。 しかし、これらの手法は依然として2つの大きな課題に直面している。 一 固定融合方式(連結及び注意)は、予め定義された特徴の組み合わせをモデルにし、分離された特徴の動的融合を制限することができる。 ii) MoE ベースの融合法では、各専門家ネットワークが分離された特徴を処理し、分離された特徴間の情報相互作用を制限する。 これらの課題に対処するために、モダリティデカップリングと動的MoE融合モジュール間のランダムな機能再構成戦略を考案した、デカップリング・再編成・融合フレームワーク(DeReF)を提案する。 一 特徴組合せ及び粒度の多様性を高め、その後の専門家ネットワークの一般化能力を高めること。 二 情報閉鎖の問題を克服し、専門家ネットワークが切り離された特徴の情報をよりよく把握するのを助けること。 さらに,モダリティデカップリングモジュールに領域横断ネットワークを組み込んで,デカップリングされた特徴の表現品質を向上させる。 社内肝癌 (LC) および3つの広く利用されているTCGAパブリックデータセットの大規模な実験結果から, 本手法の有効性が確認された。 コードは公開されます。

関連論文リスト

• Meta Fusion: A Unified Framework For Multimodality Fusion with Mutual Learning [1.5367554212163714]
  既存の戦略を特別なケースとして統一する,フレキシブルで原則化されたフレームワークであるMeta Fusionを紹介します。 深い相互学習とアンサンブル学習によって動機づけられたメタフュージョンは、モダリティにまたがる潜在表現の様々な組み合わせに基づくモデルのコホートを構築する。 我々のアプローチは潜在表現の学習においてモデルに依存しないため、各モダリティの固有の特性に柔軟に適応することができる。
  論文  参考訳（メタデータ） (2025-07-27T00:50:29Z)
• Selective Complementary Feature Fusion and Modal Feature Compression Interaction for Brain Tumor Segmentation [14.457627015612827]
  マルチモーダル特徴情報の相補的融合と圧縮相互作用を実現するための補完的特徴圧縮相互作用ネットワーク(CFCI-Net)を提案する。 CFCI-Netは最先端モデルよりも優れた結果が得られる。
  論文  参考訳（メタデータ） (2025-03-20T13:52:51Z)
• Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion [25.140475569677758]
  マルチモーダル画像融合は、様々なモーダルからの情報を総合的な画像を得るために統合することを目的としている。 既存の手法では、自然画像の融合を優先し、情報補完とネットワークトレーニング戦略に重点を置く傾向にある。 本稿では,融合目標,統計特性,およびデータ分布に関する2つの課題の有意な差異を論じる。
  論文  参考訳（メタデータ） (2024-11-15T08:36:24Z)
• Completed Feature Disentanglement Learning for Multimodal MRIs Analysis [36.32164729310868]
  特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた 本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。 具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
  論文  参考訳（メタデータ） (2024-07-06T01:49:38Z)
• Fusion-Mamba for Cross-modality Object Detection [63.56296480951342]
  異なるモダリティから情報を融合するクロスモダリティは、オブジェクト検出性能を効果的に向上させる。 We design a Fusion-Mamba block (FMB) to map cross-modal features into a hidden state space for interaction。 提案手法は,m3FD$が5.9%,FLIRデータセットが4.9%,m3FD$が5.9%である。
  論文  参考訳（メタデータ） (2024-04-14T05:28:46Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition [46.443866373546726]
  ビデオから抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。 本稿では, 相補的関係に依拠し, 有意な特徴を抽出する連係関係モデルを提案する。 提案したA-V融合モデルにより,最先端の手法より優れたコスト効率のソリューションが提供される。
  論文  参考訳（メタデータ） (2022-03-28T14:09:43Z)
• Learning Deep Multimodal Feature Representation with Asymmetric Multi-layer Fusion [63.72912507445662]
  本稿では,マルチモーダルな特徴を複数の層に融合する,コンパクトで効果的なフレームワークを提案する。 我々は、エンコーダ内のモダリティ固有のバッチ正規化層を単に維持するだけで、共有シングルネットワーク内でマルチモーダル機能を学習できることを検証する。 次に,マルチモーダルな特徴を段階的に活用できる双方向多層融合方式を提案する。
  論文  参考訳（メタデータ） (2021-08-11T03:42:13Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。