論文の概要: Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis

• arxiv url: http://arxiv.org/abs/2604.17122v1
• Date: Sat, 18 Apr 2026 19:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-21 21:52:52.344827
• Title: Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis
• Title（参考訳）: 早期乳癌診断における病理組織像と電子健康記録のマルチモーダル融合
• Authors: Aditya Shribhagwan Khandelwal, Mohammad Samar Ansari, Asra Aslam,
• Abstract要約: 本稿では, パッチレベルの病理組織学的特徴を構造化された臨床データと統合する体系的枠組みを提案する。 単相画像モデル(単純なCNNベースラインと転送学習を備えたResNet-18)と中間融合モデル(XGBoostと多層パーセプトロン)を訓練し評価する。 以上の結果から,マルチモーダル統合は,予測性能と臨床透明性の両方において有意義な改善をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 15.70912899013153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Breast cancer is a leading cause of cancer-related mortality worldwide, and timely accurate diagnosis is critical to improving survival outcomes. While convolutional neural networks (CNNs) have demonstrated strong performance on histopathology image classification, and machine learning models on structured electronic health records (EHR) have shown utility for clinical risk stratification, most existing work treats these modalities in isolation. This paper presents a systematic multimodal framework that integrates patch-level histopathology features from the BreCaHAD dataset with structured clinical data from MIMIC-IV. We train and evaluate unimodal image models (a simple CNN baseline and ResNet-18 with transfer learning), unimodal tabular models (XGBoost and a multilayer perceptron), and an intermediate-fusion model that concatenates latent representations from both modalities. ResNet-18 achieves near-perfect accuracy (1.000) and AUC (1.000) on three-class patch-level classification, while XGBoost achieves 98% accuracy on the EHR prediction task. The intermediate fusion model yields a macro-average AUC of 0.997, outperforming all unimodal baselines and delivering the largest improvements on the diagnostically critical but class-imbalanced mitosis category (AUC 0.994). Grad-CAM and SHAP interpretability analyses validate that model decisions align with established pathological and clinical criteria. Our results demonstrate that multimodal integration delivers meaningful improvements in both predictive performance and clinical transparency.
• Abstract（参考訳）: 乳癌は世界中のがん関連死亡の原因であり、タイムリーに正確な診断は生存率の向上に不可欠である。 畳み込みニューラルネットワーク(CNN)は、病理組織像の分類において強力な性能を示し、構造化された電子健康記録(EHR)上の機械学習モデルは、臨床リスク層化に有用であることを示しているが、既存の研究のほとんどは、これらのモダリティを分離して扱う。 本稿では,BreCaHADデータセットからパッチレベルの病理組織学的特徴をMIMIC-IVの構造化された臨床データと統合した,系統的マルチモーダルフレームワークを提案する。 両モードから潜在表現を連結する中間融合モデルとして、単モード画像モデル(単純なCNNベースラインと転送学習を備えたResNet-18)、単モード表形式モデル(XGBoostと多層パーセプトロン)を訓練・評価する。 ResNet-18は3クラスのパッチレベルの分類でほぼ完全な精度 (1.000) とAUC (1.000) を達成し、XGBoostはEHR予測タスクで98%の精度を達成している。 中間核融合モデルでは平均 0.997 のマクロ平均 AUC が生成され、全ての単調なベースラインを上回り、診断上重要ながクラス不均衡の mitosis category (AUC 0.994) の最大の改善をもたらす。 Grad-CAMとSHAPの解釈可能性分析は、モデル決定が確立された病態および臨床基準と一致していることを検証する。 以上の結果から,マルチモーダル統合は,予測性能と臨床透明性の両方において有意義な改善をもたらすことが示された。

関連論文リスト

• DSVTLA: Deep Swin Vision Transformer-Based Transfer Learning Architecture for Multi-Type Cancer Histopathological Cancer Image Classification [4.251634300723203]
  提案するフレームワークは階層型Swin変換器とResNet50ベースの畳み込み機能抽出を統合している。 我々のアプローチは、DenseNet121、DenseNet201、InceptionV3、ResNet50、EfficientNetB3、Swin Transformerモデルなど、最先端のCNNおよび転送モデルと共にベンチマークされている。 以上の結果から, 肺結腸癌, セグメンテーション白血病データセット, 99.23%の検診精度が得られた。
  論文  参考訳（メタデータ） (2026-04-10T16:25:27Z)
• Cerebra: A Multidisciplinary AI Board for Multimodal Dementia Characterization and Risk Assessment [56.62016795093786]
  CerebraはインタラクティブなマルチエージェントAIチームで、ERH、臨床ノート、医療画像分析のための特殊エージェントをコーディネートする。 構造化された表現を操作することで、プライバシ保護デプロイメントをサポートし、モダリティが不完全であれば、堅牢である。 Cerebraは、有識者のパフォーマンスを著しく改善し、前向き認知症リスク推定において精度を17.5ポイント向上させた。
  論文  参考訳（メタデータ） (2026-03-23T05:46:45Z)
• Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
  回帰に基づくタスクの基礎モデルを体系的に評価する。 我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。 乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
  論文  参考訳（メタデータ） (2026-01-29T14:06:50Z)
• A Disease-Centric Vision-Language Foundation Model for Precision Oncology in Kidney Cancer [54.58205672910646]
  RenalCLIPは、腎腫瘤の特徴、診断、予後のための視覚言語基盤モデルである。 腎がんの完全な臨床ワークフローにまたがる10のコアタスクにおいて、優れたパフォーマンスと優れた一般化性を実現した。
  論文  参考訳（メタデータ） (2025-08-22T17:48:19Z)
• Skin Cancer Classification: Hybrid CNN-Transformer Models with KAN-Based Fusion [0.0]
  Convolutional Kolmogorov-Arnold Network (CKAN) を用いた逐次および並列ハイブリッドCNN-Transformerモデルについて検討する。 そこでCNNは局所的な空間的特徴を抽出し、トランスフォーマーはグローバルな依存関係をモデル化し、CKANは表現学習を改善するために非線形な特徴融合を促進する。 HAM10000データセットで92.81%の精度と92.47%のF1スコア、PAD-UFESデータセットで97.83%のF1スコア、91.79%のF1スコア、91.17%のF1スコアを示す。
  論文  参考訳（メタデータ） (2025-08-17T19:57:34Z)
• A multimodal ensemble approach for clear cell renal cell carcinoma treatment outcome prediction [6.199310532720352]
  臨床データ,マルチオミクスデータ,および病理組織学的全スライド画像(WSI)データを統合するマルチモーダルアンサンブルモデル(MMEM)を開発した。 MMEMはccRCC患者の全身生存率(OS)と無病生存率(DFS)を予測した。
  論文  参考訳（メタデータ） (2024-12-10T02:51:14Z)
• Multi-modal Medical Image Fusion For Non-Small Cell Lung Cancer Classification [7.002657345547741]
  非小細胞肺癌(NSCLC)は、世界中のがん死亡の主な原因である。 本稿では, 融合医療画像(CT, PET)と臨床健康記録, ゲノムデータとを合成する, マルチモーダルデータの革新的な統合について紹介する。 NSCLCの検出と分類精度の大幅な向上により,本研究は既存のアプローチを超越している。
  論文  参考訳（メタデータ） (2024-09-27T12:59:29Z)
• HoneyBee: A Scalable Modular Framework for Creating Multimodal Oncology Datasets with Foundational Embedding Models [11.03503711055749]
  HONeYBEEは、腫瘍学の応用のために、マルチモーダルなバイオメディカルデータを統合したオープンソースのフレームワークである。 臨床データ(構造化および非構造化)、全スライダー画像、放射線スキャン、分子プロファイルを処理し、統合された患者レベルの埋め込みを生成する。 これらの埋め込みは生存予測、がん型の分類、患者の類似性検索、コホートクラスタリングを可能にする。
  論文  参考訳（メタデータ） (2024-05-13T04:35:14Z)
• Many-to-One Distribution Learning and K-Nearest Neighbor Smoothing for Thoracic Disease Identification [83.6017225363714]
  ディープラーニングは、病気の識別性能を改善するための最も強力なコンピュータ支援診断技術となった。 胸部X線撮影では、大規模データの注釈付けには専門的なドメイン知識が必要で、時間を要する。 本論文では、単一モデルにおける疾患同定性能を改善するために、複数対1の分布学習(MODL)とK-nearest neighbor smoothing(KNNS)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-26T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。