論文の概要: When Are Multimodal Predictions Biologically Supported? A Diagnostic Evaluation Framework
- arxiv url: http://arxiv.org/abs/2605.31504v1
- Date: Fri, 29 May 2026 16:25:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.743254
- Title: When Are Multimodal Predictions Biologically Supported? A Diagnostic Evaluation Framework
- Title（参考訳）: マルチモーダル予測は生物学的に支援されているか? : 診断評価フレームワーク
- Abstract要約: マルチモーダル表現を4つの診断シナリオに分類するモデルに依存しないポストホック評価フレームワークであるDECATを紹介する。
我々は,4つのマルチモーダルモデルクラスにまたがる合成データと8,979人のTCGA患者の実データを用いてDECATを検証した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal models in oncology can produce accurate predictions, but accurate prediction does not reveal whether the model has learned biology that is shared across modalities, biology confined to one modality, or spurious correlations that reflect confounders rather than genuine biology. We introduce DECAT, a model-agnostic post-hoc evaluation framework that classifies multimodal representations into four diagnostic scenarios for a given task and modality, using five null-referenced metrics and a rule-based decision procedure. The framework operates on learned representations, requires no knowledge of which specific confounder is present, and returns indeterminate when the evidence is insufficient. We validate DECAT on synthetic data across four multimodal model classes (over 2,500 trained representations) and on real data from 8,979 TCGA patients, evaluating both multimodal embeddings and five pretrained pathology foundation models. Entangled models (e.g., CLIP) achieve near-perfect shared biology detection but falsely claim shared biology in the majority of cases where it is absent on real foundation model embeddings. This false claim rate increases with confound strength so that larger cohorts and stronger representations produce more confident but still incorrect diagnoses. Applied to both multimodal TCGA embeddings and five pathology foundation models without paired RNA, DECAT detects confounding invisible to AUROC without requiring the confounder labels, as confirmed by post-hoc stratification.
- Abstract（参考訳）: 腫瘍学におけるマルチモーダルモデルは正確な予測を生成することができるが、正確な予測は、モデルがモーダル性、一つのモダリティに制限された生物学、または真の生物学ではなく、共同創設者を反映する刺激的な相関を学習したかどうかを明らかにしていない。
マルチモーダル表現を与えられたタスクとモダリティの4つの診断シナリオに分類する,モデルに依存しないポストホック評価フレームワークであるDECATを紹介する。
フレームワークは学習した表現に基づいて動作し、特定の共同設立者が存在するかを知る必要はなく、証拠が不十分な場合に不確定に返される。
我々は,4つのマルチモーダルモデルクラス(2500以上の訓練された表現)および8,979人のTCGA患者の実データに対するDECATの有効性を検証し,マルチモーダル埋め込みと5つの事前訓練された病理基盤モデルの評価を行った。
絡み合ったモデル(例えばCLIP)は、ほぼ完全な共有生物学検出を実現するが、実際の基盤モデル埋め込みに欠落しているほとんどのケースにおいて、共有生物学を誤って主張する。
この偽のクレームレートは、より大きなコホートとより強い表現がより自信を持つが、いまだに誤った診断をもたらすように、矛盾する強さとともに増加する。
マルチモーダルTCGA埋め込みと、ペアRNAを持たない5つの病理基盤モデルの両方に適用すると、DECATは共同設立後の成層化によって確認されたように、共同設立者ラベルを必要とせず、AUROCに見えない欠陥を検出する。
関連論文リスト
- PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。
部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。
The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
論文 参考訳（メタデータ） (2026-04-05T21:14:27Z) - NeuroVLM-Bench: Evaluation of Vision-Enabled Large Language Models for Clinical Reasoning in Neurological Disorders [0.46375328256275944]
本稿では2次元ニューロイメージングのための視覚対応大規模言語モデルのベンチマーク研究を行う。
我々は,多発性硬化症,脳卒中,脳腫瘍,その他の異常,正常なコントロールを対象とするMRIおよびCTデータセットを用いて検討した。
腫瘍分類は最も信頼性の高い課題として現れ、脳卒中は適度に解決できるが、多発性硬化症や稀な異常は依然として困難である。
論文 参考訳（メタデータ） (2026-03-25T22:26:06Z) - Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
回帰に基づくタスクの基礎モデルを体系的に評価する。
我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。
乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
論文 参考訳（メタデータ） (2026-01-29T14:06:50Z) - SurvAgent: Hierarchical CoT-Enhanced Case Banking and Dichotomy-Based Multi-Agent System for Multimodal Survival Prediction [49.355973075150075]
マルチモーダルサバイバル予測のための最初の階層的チェーン・オブ・シント(CoT)強化マルチエージェントシステムであるSurvAgentを紹介する。
SurvAgentは2つの段階から構成される: WSI-Gene CoT-Enhanced Case Bank Constructionは、低磁化スクリーニング、クロスモーダル類似性-アウェアパッチマイニング、および病理画像に対する信頼-アウェアパッチマイニングを通じて階層解析を使用する。
二分法に基づくMulti-Expert Agent Inferenceは、RAGを介して類似の事例を検索し、段階的間隔改善による専門家予測とマルチモーダルレポートを統合する。
論文 参考訳（メタデータ） (2025-11-20T18:41:44Z) - On Arbitrary Predictions from Equally Valid Models [49.56463611078044]
モデル多重性(英: Model multiplicity)とは、同じ患者に対して矛盾する予測を認める複数の機械学習モデルを指す。
たとえ小さなアンサンブルであっても、実際は予測的多重性を緩和・緩和できることを示す。
論文 参考訳（メタデータ） (2025-07-25T16:15:59Z) - In-Context Learning for Label-Efficient Cancer Image Classification in Oncology [1.741659712094955]
In-context Learning (ICL) は、ドメイン固有の診断タスクに対するモデル再トレーニングの実用的な代替手段である。
視覚言語モデル(VLM)-Paligemma, CLIP, ALIGN, GPT-4o の評価を行った。
ICLは、サイズが小さいにもかかわらず競争力の向上を示し、計算に制約のある臨床環境への展開の可能性を示した。
論文 参考訳（メタデータ） (2025-05-08T20:49:01Z) - Molecular-driven Foundation Model for Oncologic Pathology [6.922502805825084]
スライドレベルの基盤モデルであるThreadsを導入し、任意のサイズの全スライド画像の普遍的な表現を生成する。
スレッドは47,171ヘマトキシリンとエオシン(H&E)染色組織分画の多モード学習法を用いて事前訓練を行った。
論文 参考訳（メタデータ） (2025-01-28T02:35:02Z) - UNICORN: A Deep Learning Model for Integrating Multi-Stain Data in Histopathology [2.9389205138207277]
UNICORNは動脈硬化の重症度予測のための多段階組織学を処理できるマルチモーダルトランスフォーマーである。
このアーキテクチャは、2段階のエンドツーエンドのトレーニング可能なモデルと、トランスフォーマーの自己保持ブロックを利用する特殊なモジュールから構成される。
UNICORNは0.67の分類精度を達成し、他の最先端モデルを上回った。
論文 参考訳（メタデータ） (2024-09-26T12:13:52Z) - PathInsight: Instruction Tuning of Multimodal Datasets and Models for Intelligence Assisted Diagnosis in Histopathology [7.87900104748629]
6つの異なるタスクをカバーする約45,000のケースのデータセットを慎重にコンパイルしました。
特にLLaVA, Qwen-VL, InternLMを微調整したマルチモーダル大規模モデルで, このデータセットを用いて命令ベースの性能を向上させる。
論文 参考訳（メタデータ） (2024-08-13T17:05:06Z) - Potential of Multimodal Large Language Models for Data Mining of Medical Images and Free-text Reports [51.45762396192655]
特にGemini-Vision-Series (Gemini) と GPT-4-Series (GPT-4) は、コンピュータビジョンのための人工知能のパラダイムシフトを象徴している。
本研究は,14の医用画像データセットを対象に,Gemini,GPT-4,および4つの一般的な大規模モデルの性能評価を行った。
論文 参考訳（メタデータ） (2024-07-08T09:08:42Z) - Semi-supervised Medical Image Classification with Relation-driven
Self-ensembling Model [71.80319052891817]
医用画像分類のための関係駆動型半教師付きフレームワークを提案する。
これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。
本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
論文 参考訳（メタデータ） (2020-05-15T06:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。