論文の概要: MedPatch: Confidence-Guided Multi-Stage Fusion for Multimodal Clinical Data

• arxiv url: http://arxiv.org/abs/2508.09182v1
• Date: Thu, 07 Aug 2025 12:46:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 20:42:00.586939
• Title: MedPatch: Confidence-Guided Multi-Stage Fusion for Multimodal Clinical Data
• Title（参考訳）: MedPatch:マルチモーダルな臨床データのための信頼性ガイド付きマルチステージフュージョン
• Authors: Baraa Al Jorf, Farah Shamout,
• Abstract要約: 現実世界の医療データは本質的に異質であり、サイズは限られており、モダリティが欠如しているためスパースである。 臨床予測タスクにインスパイアされたMedPatchを導入し,複数のモダリティをシームレスに統合する。 我々は,MIMIC-IV,MIMIC-CXR,MIMIC-Notesデータセットから抽出した臨床時系列データ,胸部X線画像,放射線検査,および放電記録からなる実世界のデータを用いてMedPatchを評価する。
• 参考スコア（独自算出の注目度）: 0.46040036610482665
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Clinical decision-making relies on the integration of information across various data modalities, such as clinical time-series, medical images and textual reports. Compared to other domains, real-world medical data is heterogeneous in nature, limited in size, and sparse due to missing modalities. This significantly limits model performance in clinical prediction tasks. Inspired by clinical workflows, we introduce MedPatch, a multi-stage multimodal fusion architecture, which seamlessly integrates multiple modalities via confidence-guided patching. MedPatch comprises three main components: (i) a multi-stage fusion strategy that leverages joint and late fusion simultaneously, (ii) a missingness-aware module that handles sparse samples with missing modalities, (iii) a joint fusion module that clusters latent token patches based on calibrated unimodal token-level confidence. We evaluated MedPatch using real-world data consisting of clinical time-series data, chest X-ray images, radiology reports, and discharge notes extracted from the MIMIC-IV, MIMIC-CXR, and MIMIC-Notes datasets on two benchmark tasks, namely in-hospital mortality prediction and clinical condition classification. Compared to existing baselines, MedPatch achieves state-of-the-art performance. Our work highlights the effectiveness of confidence-guided multi-stage fusion in addressing the heterogeneity of multimodal data, and establishes new state-of-the-art benchmark results for clinical prediction tasks.
• Abstract（参考訳）: 臨床意思決定は、臨床時系列、医療画像、テキストレポートなど、さまざまなデータモダリティにまたがる情報の統合に依存している。 他のドメインと比較して、現実世界の医療データは本質的に異質であり、サイズが制限され、モダリティが欠如しているためスパースである。 これは臨床予測タスクにおけるモデル性能を著しく制限する。 臨床ワークフローにインスパイアされたMedPatchは,マルチステージのマルチモーダルフュージョンアーキテクチャであり,マルチモーダルをシームレスに統合する。 MedPatchは3つの主要コンポーネントから構成される。 (i)ジョイントとレイトフュージョンを同時に活用する多段階フュージョン戦略 (ii)モダリティの欠如したスパースサンプルを処理する欠如を意識したモジュール。 三 キャリブレーションされたユニモーダルトークンレベルの信頼度に基づいて潜在トークンパッチをクラスタリングするジョイントフュージョンモジュール。 我々は,MIMIC-IV,MIMIC-CXR,MIMIC-Notesデータセットから抽出した臨床時系列データ,胸部X線画像,X線画像,放電記録からなる実世界データを用いてMedPatchの評価を行った。 既存のベースラインと比較して、MedPatchは最先端のパフォーマンスを実現している。 本研究は, マルチモーダルデータの不均一性に対処する上で, 信頼性誘導型多段階融合の有効性を強調し, 臨床予測タスクにおける最新のベンチマーク結果を確立することを目的とする。

関連論文リスト

• impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
  我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。 マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。 本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
  論文  参考訳（メタデータ） (2025-08-08T10:01:16Z)
• Continually Evolved Multimodal Foundation Models for Cancer Prognosis [50.43145292874533]
  がん予後は、患者の予後と生存率を予測する重要なタスクである。 これまでの研究では、臨床ノート、医療画像、ゲノムデータなどの多様なデータモダリティを統合し、補完的な情報を活用している。 既存のアプローチには2つの大きな制限がある。まず、各病院の患者記録など、各種のトレーニングに新しく到着したデータを組み込むことに苦慮する。 第二に、ほとんどのマルチモーダル統合手法は単純化された結合やタスク固有のパイプラインに依存しており、モダリティ間の複雑な相互依存を捉えることができない。
  論文  参考訳（メタデータ） (2025-01-30T06:49:57Z)
• Completed Feature Disentanglement Learning for Multimodal MRIs Analysis [36.32164729310868]
  特徴不整合(FD)に基づく手法はマルチモーダルラーニング(MML)において大きな成功を収めた 本稿では,特徴デカップリング時に失われた情報を復元する完全特徴分散(CFD)戦略を提案する。 具体的には、CFD戦略は、モダリティ共有とモダリティ固有の特徴を識別するだけでなく、マルチモーダル入力のサブセット間の共有特徴を分離する。
  論文  参考訳（メタデータ） (2024-07-06T01:49:38Z)
• XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
  マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。 我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。 我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
  論文  参考訳（メタデータ） (2023-12-29T14:28:04Z)
• C^2M-DoT: Cross-modal consistent multi-view medical report generation with domain transfer network [67.97926983664676]
  ドメイン転送ネットワーク(C2M-DoT)を用いたクロスモーダルなマルチビュー医療レポート生成を提案する。 C2M-DoTは、すべてのメトリクスで最先端のベースラインを大幅に上回る。
  論文  参考訳（メタデータ） (2023-10-09T02:31:36Z)
• Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
  非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。 組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
  論文  参考訳（メタデータ） (2023-08-18T21:42:52Z)
• MedFuse: Multi-modal fusion with clinical time-series data and chest X-ray images [3.6615129560354527]
  マルチモーダルフュージョンアプローチは、異なるデータソースからの情報を統合することを目的としている。 オーディオ・ビジュアル・アプリケーションのような自然なデータセットとは異なり、医療におけるデータは非同期に収集されることが多い。 We propose MedFuse, a conceptly simple yet promising LSTM-based fusion module that can accommodate uni-modal as multi-modal input。
  論文  参考訳（メタデータ） (2022-07-14T15:59:03Z)
• Cross-Modal Information Maximization for Medical Imaging: CMIM [62.28852442561818]
  病院では、同じ情報を異なるモダリティの下で利用できるようにする特定の情報システムにデータがサイロ化される。 これは、テスト時に常に利用できないかもしれない同じ情報の複数のビューを列車で取得し、使用するためのユニークな機会を提供する。 テスト時にモダリティの低下に耐性を持つマルチモーダル入力の優れた表現を学習することで、利用可能なデータを最大限活用する革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-20T20:05:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。