論文の概要: Multimodal Fusion Methods for Whole-Slide Images and Clinical Data in Inflammatory Bowel Disease
- arxiv url: http://arxiv.org/abs/2611.05579v1
- Date: Tue, 03 Nov 2026 20:11:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.838636
- Title: Multimodal Fusion Methods for Whole-Slide Images and Clinical Data in Inflammatory Bowel Disease
- Title(参考訳): 炎症性腸疾患における全スライディング画像の多モード融合法と臨床データ
- Abstract要約: 組織学と臨床データのマルチモーダルAI融合は、計算病理学の活発な研究領域である。
本稿では,共有出力次元と予測ヘッドを持つ15の交換可能な融合法にスライドレベルの埋め込みを投入するモジュラー・フレームワークを提案する。
最良の融合法は0.57-0.75のマクロF1に達し、6つのシナリオのうち2つの単一モードモデルよりも優れ、結果と入力によって異なる。
- 参考スコア(独自算出の注目度): 0.2589650838233965
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal AI fusion of histology and clinical data is an active research area in computational pathology, but fusion methods are rarely compared under identical conditions and across different clinical endpoints. We present a modular framework in which slide-level embeddings, obtained by training an attention-based aggregator over patch embeddings from a frozen foundation model, and per-visit clinical embeddings are fed into 15 interchangeable fusion methods with a shared output dimension and prediction head (except decision-level methods). Using a prospective cohort of newly diagnosed inflammatory bowel disease patients, we predicted STRIDE-II-aligned remission outcomes from baseline or follow-up visits. The best fusion method reached macro-F1 of 0.57-0.75, outperforming both single-modality models in four of six scenarios, and differed by outcome and input. Image reliance, the drop in balanced accuracy when the slide embedding is removed, tended to follow the remission type - highest for histological and lowest for endoscopic remission; methods with similar accuracy relied on the slide to very different degrees.
- Abstract(参考訳): 組織学と臨床データのマルチモーダルAI融合は、計算病理学において活発な研究領域であるが、融合法は同一条件下で比較されることは稀である。
本稿では,凍結基盤モデルからのパッチ埋め込みに対する注意ベースのアグリゲータのトレーニングにより得られたスライドレベルの埋め込みを,共有出力次元と予測値(決定レベルメソッドを除く)を持つ15種類の融合手法に導入する。
新たに診断された炎症性腸疾患患者の前向きコホートを用いて,Story-II-aligned remission results from baseline or follow-up visits。
最良の融合法は0.57-0.75のマクロF1に達し、6つのシナリオのうち2つの単一モードモデルよりも優れ、結果と入力によって異なる。
画像信頼度, スライド埋没時の平衡精度の低下は, 内視鏡的寛解率が最も高く, 内視鏡的寛解率も低かった。
関連論文リスト
- PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。
部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。
The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
論文 参考訳(メタデータ) (2026-04-05T21:14:27Z) - Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。
消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。
本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-21T07:47:37Z) - MedPatch: Confidence-Guided Multi-Stage Fusion for Multimodal Clinical Data [0.46040036610482665]
現実世界の医療データは本質的に異質であり、サイズは限られており、モダリティが欠如しているためスパースである。
臨床予測タスクにインスパイアされたMedPatchを導入し,複数のモダリティをシームレスに統合する。
我々は,MIMIC-IV,MIMIC-CXR,MIMIC-Notesデータセットから抽出した臨床時系列データ,胸部X線画像,放射線検査,および放電記録からなる実世界のデータを用いてMedPatchを評価する。
論文 参考訳(メタデータ) (2025-08-07T12:46:26Z) - DrFuse: Learning Disentangled Representation for Clinical Multi-Modal
Fusion with Missing Modality and Modal Inconsistency [18.291267748113142]
そこで本研究では,DrFuseを効果的に多モード核融合を実現するために提案する。
モダリティに共通する特徴と各モダリティに特有の特徴を分離することで、モダリティの欠如に対処する。
実世界の大規模データセットMIMIC-IVとMIMIC-CXRを用いて提案手法を検証する。
論文 参考訳(メタデータ) (2024-03-10T12:41:34Z) - Cross-modality Attention-based Multimodal Fusion for Non-small Cell Lung
Cancer (NSCLC) Patient Survival Prediction [0.6476298550949928]
非小細胞肺癌(NSCLC)における患者生存予測のためのモダリティ特異的知識の統合を目的としたマルチモーダル核融合パイプラインを提案する。
組織画像データとRNA-seqデータのみを用いてc-index0.5772と0.5885を達成した単一モダリティと比較して, 提案した融合法はc-index0.6587を達成した。
論文 参考訳(メタデータ) (2023-08-18T21:42:52Z) - RadioPathomics: Multimodal Learning in Non-Small Cell Lung Cancer for
Adaptive Radiotherapy [1.8161758803237067]
非小細胞肺癌に対する放射線治療成績を予測するため, マルチモーダルレイトフュージョン法を開発した。
実験により、AUCが90.9%ドルと同等のマルチモーダルパラダイムが、各ユニモーダルアプローチより優れていることが示された。
論文 参考訳(メタデータ) (2022-04-26T16:32:52Z) - Malignancy Prediction and Lesion Identification from Clinical
Dermatological Images [65.1629311281062]
臨床皮膚画像から機械学習に基づく悪性度予測と病変の同定を検討する。
まず, サブタイプや悪性度に関わらず画像に存在するすべての病変を同定し, その悪性度を推定し, 凝集により, 画像レベルの悪性度も生成する。
論文 参考訳(メタデータ) (2021-04-02T20:52:05Z) - Coupled Feature Learning for Multimodal Medical Image Fusion [42.23662451234756]
マルチモーダル画像融合は、取得した画像と異なるセンサーの関連情報を組み合わせることを目指しています。
本稿では,結合辞書学習に基づく新しいマルチモーダル画像融合法を提案する。
論文 参考訳(メタデータ) (2021-02-17T09:13:28Z) - Co-Heterogeneous and Adaptive Segmentation from Multi-Source and
Multi-Phase CT Imaging Data: A Study on Pathological Liver and Lesion
Segmentation [48.504790189796836]
我々は,新しいセグメンテーション戦略,コヘテロジネティック・アダプティブセグメンテーション(CHASe)を提案する。
本稿では,外見に基づく半スーパービジョン,マスクに基づく対向ドメイン適応,擬似ラベルを融合した多目的フレームワークを提案する。
CHASeは4.2% sim 9.4%$の範囲で、病理的な肝臓マスクDice-Sorensen係数をさらに改善することができる。
論文 参考訳(メタデータ) (2020-05-27T06:58:39Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳(メタデータ) (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。