論文の概要: Multi-FRuGaL: Multimodal Flexible Redundancy-aware Decomposed Gated Learning for Cancer Diagnosis and Prognosis
- arxiv url: http://arxiv.org/abs/2606.06867v1
- Date: Fri, 05 Jun 2026 03:33:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-08 14:33:29.544063
- Title: Multi-FRuGaL: Multimodal Flexible Redundancy-aware Decomposed Gated Learning for Cancer Diagnosis and Prognosis
- Title(参考訳): Multi-FRuGaL:マルチモーダルフレキシブル冗長性を考慮したガン診断・予後学習
- Authors: Sanket Kachole, Siddhesh Thakur, Shubham Innani, Sanyukta Adap, Suhang You, Carla Pitarch-Abaigar, Spyridon Bakas,
- Abstract要約: マルチモーダル・フレキシブル・冗長性を考慮したGAted Learning (Multi-FRuGaL) フレームワークは、欠落データの下でモダリティレベルの表現学習を行う。
多発性頭頸部癌のコホートにおけるMulti-FRuGaLの評価を行った。
- 参考スコア(独自算出の注目度): 1.5798063718502438
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Modern medicine relies on heterogeneous data sources spanning radiology, pathology, text reports, and structured clinical information. However, real-world patient data are frequently incomplete, with missing or sparsely acquired modalities, limiting the effectiveness of standard multimodal fusion approaches. To this end, we propose the Multimodal Flexible Redundancy-aware decomposed GAted Learning (Multi-FRuGaL) framework, a decomposition-aware, adaptive gated intermediate-fusion framework that performs modality-level representation learning under missing data. Multi-FRuGaL integrates per-modality encoders with a signal decomposition layer, an input-conditioned gating network, and an information-aware fusion objective to separate redundant from modality-specific complementary signals, selectively upweighting informative modalities and suppressing redundant or noisy inputs, and remaining well-defined even when multiple modalities are absent. We evaluate Multi-FRuGaL on two multimodal head and neck cancer cohorts: the HANCOCK challenge dataset (N = 763) comprising five modalities and two prognostic endpoints (5-year survival and 2-year recurrence), and the HECKTOR challenge dataset (N = 588) comprising three modalities for human papillomavirus (HPV) status classification. Multi-FRuGaL consistently achieves higher mean performance than the evaluated baselines across multiple tasks, improving AUC from 0.601 to 0.8496 for survival, from 0.672 to 0.8102 for recurrence, and achieving 0.975 AUC for HPV prediction on HECKTOR. For survival analysis, it further achieves a concordance index of 0.6814 for overall survival, 0.7421 for recurrence-free survival, and 0.7143 for progression-free survival on HANCOCK, and 0.7203 for recurrence-free survival on HECKTOR. Qualitative analyses further show that Multi-FRuGaL learns discriminative and robust multimodal representations, even under severe missing-modality conditions.
- Abstract(参考訳): 現代医学は、放射線学、病理学、テキストレポート、構造化された臨床情報にまたがる異種データソースに依存している。
しかし、実世界の患者データは、しばしば不完全であり、標準のマルチモーダル融合アプローチの有効性を制限し、わずかに取得されたモダリティが欠如している。
そこで本研究では,マルチモーダル・フレキシブル・冗長性を考慮したGAted Learning(Multi-FRuGaL)フレームワークを提案する。
マルチFRuGaLは、モダリティのエンコーダを信号分解層、入力条件付きゲーティングネットワーク、および情報認識融合目標と統合し、モダリティ固有の補完信号から冗長を分離し、情報モダリティを選択的に重み付け、冗長またはノイズの多い入力を抑え、複数のモダリティが欠如している場合でも適切に定義する。
HANCOCK Challenge dataset (N = 763), and the HECKTOR Challenge dataset (N = 588) including three modalities for human papillomavirus (HPV) status classification。
マルチFRuGaLは、複数のタスクで評価されたベースラインよりも高い平均性能を実現し、AUCを0.601から0.8496に改善し、繰り返し0.672から0.8102に改善し、HECKTORでHPV予測の0.975 AUCを達成した。
生存分析では、全体の生存率0.6814、再発のない生存率0.7421、HANCOCKでの無再発生存率0.7143、HECKTORでの無再発生存率0.7203がさらに達成される。
さらに質的な分析により、Multi-FRuGaLは、過酷なモダリティ条件の下でも、差別的かつ堅牢なマルチモーダル表現を学習することを示した。
関連論文リスト
- PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。
部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。
The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
論文 参考訳(メタデータ) (2026-04-05T21:14:27Z) - Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。
構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。
Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
論文 参考訳(メタデータ) (2026-03-23T05:46:45Z) - AdaFuse: Adaptive Multimodal Fusion for Lung Cancer Risk Prediction via Reinforcement Learning [5.519724506536996]
肺がんリスク予測のための患者固有のモダリティ選択と融合戦略を学習する適応型多モード融合フレームワークであるAdaFuseを提案する。
AdaFuseは、ポリシーネットワークが追加のモダリティを組み込むか、既に取得した情報に基づいて予測に進むかを反復的に決定する、シーケンシャルな決定プロセスとしてマルチモーダル融合を定式化する。
論文 参考訳(メタデータ) (2026-01-30T21:51:44Z) - ModalSurv: A Multimodal Deep Survival Framework for Prostate and Bladder Cancer [5.509924404430891]
提案するModaliSurvは、DeepHitをプロジェクション層とモード間相互アテンションを備えたマルチモーダルディープサバイバルモデルである。
このモデルは、モーダル性にまたがる相補的な予後信号を捕捉し、個別化された時間-生化学的再発を推定するように設計されている。
論文 参考訳(メタデータ) (2025-09-05T11:52:53Z) - impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。
マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。
本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文 参考訳(メタデータ) (2025-08-08T10:01:16Z) - Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
がん予後は、患者の予後と生存率を予測する重要なタスクである。
これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。
既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。
第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
論文 参考訳(メタデータ) (2025-01-30T06:49:57Z) - Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung
Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。
組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
論文 参考訳(メタデータ) (2023-08-18T21:42:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。