論文の概要: Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis
- arxiv url: http://arxiv.org/abs/2606.17115v1
- Date: Mon, 15 Jun 2026 09:50:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-17 17:15:32.068441
- Title: Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis
- Title（参考訳）: マルチモーダル癌解析のための基礎モデル表現の体系的評価
- Authors: Jingyu Hu, Giuseppe Tripodi, Reed Naidoo, Sarah F. McGough, Tapabrata Chakraborti,
- Abstract要約: 基礎モデル(FM)は、医療データのための強力な表現抽出器として登場したが、分布シフト下のデータセットへの一般化性はまだ未調査である。
本研究は,実世界の商業コホートであるIH-BCとIH-NSCLCを対象とする,FMに基づく一連の計算病理学的タスクの表現を体系的に評価する。
我々はまず,8つの下流分類タスクにおいて,5つのFMに対して一方向探索性能をベンチマークし,画像およびオミクス表現が相補的な予測信号を持つことを示した。
- 参考スコア（独自算出の注目度）: 3.009018931689546
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models (FMs) have emerged as powerful representation extractors for medical data, yet their generalizability to datasets under distribution shift remains underexplored. This work systematically evaluates FM-based representations on a suite of computational pathology tasks across two real-world commercial cohorts, IH-BC and IH-NSCLC, drawn from the licensed in-house (IH) oncology dataset. The analysis focuses on two modalities, whole-slide images and transcriptomic profiles, drawn from the IH multimodal data. We first benchmark unimodal probing performance across five FMs on eight downstream classification tasks, and find that image and omics representations carry complementary predictive signals. Then we investigate whether multimodal fusion can yield additional gains over unimodal baselines by comparing three image-omics fusion strategies built on paired representations. The trustworthiness of selected unimodal and multimodal pipelines is further assessed through conformal prediction. Our results show that FM representations achieve competitive performance on out-of-distribution data and that multimodal fusion helps mainly when no single modality dominates the signal. Conformal prediction reveals that in the majority of cases where a point prediction fails, the true diagnosis remains recoverable within the prediction set, reinforcing the value of uncertainty-aware inference for clinical support.
- Abstract（参考訳）: 基礎モデル(FM)は、医療データのための強力な表現抽出器として登場したが、分布シフト下のデータセットへの一般化性はまだ未調査である。
本研究は,実世界の商業コホートであるIH-BCとIH-NSCLCを対象とし,FMに基づく一連の計算病理学的タスクの表現を系統的に評価する。
この分析は、IHマルチモーダルデータから得られた2つのモード、全スライディング画像と転写プロファイルに焦点を当てている。
我々はまず,8つの下流分類タスクにおいて,5つのFMに対して一方向探索性能をベンチマークし,画像およびオミクス表現が相補的な予測信号を持つことを示した。
次に, 対表現上に構築された3つの画像-オミクス融合戦略を比較することにより, 単調基底線上でのマルチモーダル核融合がさらなる利得が得られるかどうかを検討する。
選択された単一モードパイプラインとマルチモーダルパイプラインの信頼性は、共形予測によりさらに評価される。
この結果から,FM表現は分布外データ上での競合性能を実現し,単一モダリティが信号を支配しない場合に主に多モード融合が有効であることが示唆された。
コンフォーマルな予測では、ポイント予測が失敗するほとんどのケースにおいて、真の診断は予測セット内で回復可能であり、臨床支援のための不確実性を考慮した推論の値の強化が示される。
関連論文リスト
- Delving Aleatoric Uncertainty in Medical Image Segmentation via Vision Foundation Models [56.29123284262618]
本研究は,視覚基盤モデルの普遍的表現能力を生かして固有データ不確実性を推定することを提案する。
モデルのデコード表現の特徴の多様性を分析し,その特異値エネルギーを定量化し,各クラスに対する意味知覚尺度を定義する。
この基礎に基づいて,本研究は,(1)潜在的にノイズの多いサンプルを排除し,モデル学習品質を向上させるためのアレータリック不確実性認識データフィルタリング機構,(2)意味認識尺度に基づくトレーニング中にクラス固有の損失重みを適応的に調整する動的不確実性認識最適化戦略,およびトレーニング安定性を向上させるラベル認知機構の2つの不確実性駆動型アプリケーション戦略を設計する。
論文 参考訳（メタデータ） (2026-04-13T03:59:54Z) - LatentFM: A Latent Flow Matching Approach for Generative Medical Image Segmentation [0.0]
医用画像セグメンテーションのためのフローベースモデルであるLatentFMを提案する。
複数の潜在表現をサンプリングすることにより,多様なセグメンテーション出力を合成する。
提案手法は,潜在空間において高い効率を保ちながら,より優れたセグメンテーション精度を実現する。
論文 参考訳（メタデータ） (2025-12-04T14:06:08Z) - SurvAgent: Hierarchical CoT-Enhanced Case Banking and Dichotomy-Based Multi-Agent System for Multimodal Survival Prediction [49.355973075150075]
マルチモーダルサバイバル予測のための最初の階層的チェーン・オブ・シント(CoT)強化マルチエージェントシステムであるSurvAgentを紹介する。
SurvAgentは2つの段階から構成される: WSI-Gene CoT-Enhanced Case Bank Constructionは、低磁化スクリーニング、クロスモーダル類似性-アウェアパッチマイニング、および病理画像に対する信頼-アウェアパッチマイニングを通じて階層解析を使用する。
二分法に基づくMulti-Expert Agent Inferenceは、RAGを介して類似の事例を検索し、段階的間隔改善による専門家予測とマルチモーダルレポートを統合する。
論文 参考訳（メタデータ） (2025-11-20T18:41:44Z) - Ambiguity-aware Truncated Flow Matching for Ambiguous Medical Image Segmentation [10.578008836960134]
本稿では,Ambiguity-Aware Truncated Flow Matching (ATFM)を提案する。
GTRは予測の忠実度とトラニケート分布の信頼性の両方を高めるために導入された。
SFMは,セマンティック・アウェア・フロー・トランスフォーメーションの拡張により,多様な予測の妥当性を高めるために提案されている。
ATFMは、高度な手法と比較して、GEDとHM-IoUを最大$12%、$7.3%改善している。
論文 参考訳（メタデータ） (2025-11-10T08:57:06Z) - MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。
事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。
最先端の微調整戦略を一貫して上回ります。
論文 参考訳（メタデータ） (2025-09-07T15:22:53Z) - MedPatch: Confidence-Guided Multi-Stage Fusion for Multimodal Clinical Data [0.46040036610482665]
現実世界の医療データは本質的に異質であり、サイズは限られており、モダリティが欠如しているためスパースである。
臨床予測タスクにインスパイアされたMedPatchを導入し,複数のモダリティをシームレスに統合する。
我々は,MIMIC-IV,MIMIC-CXR,MIMIC-Notesデータセットから抽出した臨床時系列データ,胸部X線画像,放射線検査,および放電記録からなる実世界のデータを用いてMedPatchを評価する。
論文 参考訳（メタデータ） (2025-08-07T12:46:26Z) - AdaFusion: Prompt-Guided Inference with Adaptive Fusion of Pathology Foundation Models [49.550545038402184]
本稿では,新しいプロンプト誘導推論フレームワークであるAdaFusionを提案する。
本手法は,多様なモデルからタイルレベルの特徴を圧縮・整列する。
AdaFusionは、分類タスクと回帰タスクの両方にわたって、個々のPFMを一貫して上回っている。
論文 参考訳（メタデータ） (2025-08-07T07:09:31Z) - Equitable Electronic Health Record Prediction with FAME: Fairness-Aware Multimodal Embedding [4.383326688441244]
FAME(Fairness-Aware Multimodal Embeddings, FAME)は,FAME(Fairness-Aware Multimodal Embeddings, FAME, FAME, FAME-Aware Multimodal Embeddings)の略。
誤差分布分散指数(EDDI)を利用して、サブグループ間の公平性を測定する。
我々は,FAMEの有効性を,他のベースラインと比較して,性能と公平性の観点から示す。
論文 参考訳（メタデータ） (2025-06-16T05:23:42Z) - Multimodal Outer Arithmetic Block Dual Fusion of Whole Slide Images and Omics Data for Precision Oncology [6.418265127069878]
本稿では, 局所(パッチレベル)から大域(スライダーレベル)の相互作用の相補的な情報を取得するために, 早期・後期融合におけるオミック埋め込みの利用を提案する。
この二重融合戦略は、解釈可能性と分類性能を高め、臨床診断の可能性を強調している。
論文 参考訳（メタデータ） (2024-11-26T13:25:53Z) - XAI for In-hospital Mortality Prediction via Multimodal ICU Data [57.73357047856416]
マルチモーダルICUデータを用いて病院内死亡率を予測するための,効率的で説明可能なAIソリューションを提案する。
我々は,臨床データから異種入力を受信し,意思決定を行うマルチモーダル・ラーニングを我々のフレームワークに導入する。
我々の枠組みは、医療研究において重要な要素の発見を容易にする他の臨床課題に容易に移行することができる。
論文 参考訳（メタデータ） (2023-12-29T14:28:04Z) - Ambiguous Medical Image Segmentation using Diffusion Models [60.378180265885945]
我々は,グループ洞察の分布を学習することで,複数の可算出力を生成する単一拡散モデルに基づくアプローチを提案する。
提案モデルでは,拡散の固有のサンプリングプロセスを利用してセグメンテーションマスクの分布を生成する。
その結果,提案手法は既存の最先端曖昧なセグメンテーションネットワークよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-04-10T17:58:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。