論文の概要: What Do Medical Vision-Language Models Learn in Radiology? Transfer, Alignment, and Source-Proxy Leakage Under Distribution Shift
- arxiv url: http://arxiv.org/abs/2608.25251v1
- Date: Wed, 26 Aug 2026 00:19:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.498447
- Title: What Do Medical Vision-Language Models Learn in Radiology? Transfer, Alignment, and Source-Proxy Leakage Under Distribution Shift
- Title(参考訳): 放射線学における医用ビジョン・ランゲージモデルとは何か : 移動・アライメント・ソース・プロオキシリーク
- Abstract要約: 医療ビジョン言語モデル(VLM)は、取得ドメイン、ペア管理、評価プロトコルの変更で失敗しながら、ドメイン内で信頼性の高いように見える。
まず、教師なしドメイン適応診断からソースのみのクロスデータセットのビジュアルトランスファーを分離する。
次に、厳密なペアインデックス検索の下でマルチモーダルアライメントを評価し、メタデータ由来のソースプロキシ情報を定量化する。
- 参考スコア(独自算出の注目度): 3.5023163663015286
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Medical vision-language models (VLMs) can appear reliable in-domain while failing when acquisition domain, paired supervision, or evaluation protocol changes. We study this failure mode as a representation-level blind spot relevant to epistemic intelligence, without claiming a formal estimator of epistemic uncertainty. Using NIH ChestXray14 and CheXpert, we first isolate source-only cross-dataset visual transfer from unsupervised domain-adaptation diagnostics. Using PadChest and OpenI, we then evaluate multimodal alignment under strict pair-index retrieval and quantify metadata-derived source-proxy information retained in frozen embeddings. Self-supervised visual initialization improves NIH-to-CheXpert transfer over supervised ImageNet initialization in matched ResNet-18 comparisons, whereas adversarial adaptation is useful only in a narrow regime and becomes unstable as adversarial pressure increases. Multimodal exact-pair retrieval remains low under external OpenI stress testing, and source-proxy information remains recoverable from learned representations. Qualitative nearest-neighbor and Grad-CAM analyses show clinically plausible cross-dataset structure and thoracic attention patterns in many cases, while device-heavy and false-positive cases remain ambiguous. Auxiliary architecture checks are task-dependent and do not support a universal backbone ranking. Overall, the study shows that apparent competence under a single protocol can conceal transfer, alignment, and shortcut-related failure modes, motivating stress-tested evaluation of medical VLMs under distribution shift.
- Abstract(参考訳): 医療ビジョン言語モデル(VLM)は、取得ドメイン、ペア管理、評価プロトコルの変更で失敗しながら、ドメイン内で信頼性の高いように見える。
我々は,この障害モードを,病的不確実性の形式的推定因子を主張することなく,てんかん性知能に関連する表現レベルの盲点として検討した。
NIH ChestXray14とCheXpertを用いて、教師なしドメイン適応診断からソースのみのクロスデータセット視覚伝達を分離する。
PadChestとOpenIを用いて、厳密なペアインデックス検索の下でマルチモーダルアライメントを評価し、凍結埋め込みに保持されたメタデータ由来のソースプロキシ情報を定量化する。
自己監督型視覚初期化は、教師付き画像ネットの初期化をResNet-18と比較することにより、NIH-to-CheXpert転送を改善する。
外部のOpenIストレステストでは、マルチモーダルな正確なペア検索は依然として低く、学習された表現からソースプロキシ情報が回復可能である。
定性的に最も近い隣人およびGrad-CAM分析では、臨床的に妥当なクロスデータセット構造と胸部注意パターンを示し、デバイス重度および偽陽性例はあいまいなままである。
補助的なアーキテクチャチェックはタスク依存であり、普遍的なバックボーンランキングをサポートしない。
全体として、単一プロトコル下での明らかな能力は、転送、アライメント、ショートカットに関連する障害モードを隠蔽し、分散シフト下での医療用VLMのストレステスト評価を動機付けている。
関連論文リスト
- Synergistic Perception-Reasoning Governance: Grounding Medical MLLMs with Verifiable Anatomical Evidence [45.78409219344429]
マルチモーダル大言語モデル (MLLM) は, 臨床VQAと放射線学報告の生成に強い期待を示すが, 推測時幻覚は信頼性を損なう。
本稿では,両面のエビデンス注入による幻覚を系統的に緩和する,総合的かつトレーニング不要なエビデンス注入フレームワークを提案する。
textttLLaVA-1.5-7B, texttLLaVA-Med-1.5-7B, texttQwen3-VL-8B/32B, textttInternVL を用いた2つのタスクと5つのデータセットの系統的評価を行った。
論文 参考訳(メタデータ) (2026-06-30T08:07:25Z) - Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection [56.362776482614976]
データセット内のクラス分割評価は、完全に非条件のアウト・オブ・ディストリビューション異常検出のプロキシとして広く利用されている。
このプロトコルは、保持された異常クラスが表現空間の通常の混合と重なり合う場合、悪用される可能性があることを示す。
そこで本研究では,Fashion-MNIST,CIFAR-10,Imagenette間のスコア方向不安定性を予測する。
論文 参考訳(メタデータ) (2026-05-23T06:27:42Z) - Neural Uncertainty Principle: A Unified View of Adversarial Fragility and LLM Hallucination [60.197429875410286]
大規模言語モデルにおける視覚と幻覚の対立的脆弱性は、伝統的に別の問題と見なされている。
損失誘起状態下でのニューラル不確実性原理(NUP)の定式化により, ほぼバウンド状態においては, さらなる圧縮は感度分散の増大を伴うことが判明した。
視覚では、高度に結合したコンポーネントをマスキングすることで、コストのかかる敵の訓練なしに堅牢性を向上させる。
言語では、任意の応答トークンを生成する前に、同じプレフィルステージプローブが幻覚リスクを検出する。
論文 参考訳(メタデータ) (2026-03-20T02:07:10Z) - CoDA: Exploring Chain-of-Distribution Attacks and Post-Hoc Token-Space Repair for Medical Vision-Language Models [14.039516906417724]
本稿では, 買収型シェーディング, 再構築・表示リマッピング, 納品・輸出劣化による臨床応用可能なパイプラインシフトを構築するチェーン・オブ・ディストリビューション・フレームワークを提案する。
脳MRI,胸部X線,腹部CTでは,CLIP型MVLMのゼロショット性能が著しく低下する。
また,マルチモーダルな大規模言語モデル (MLLM) を,画像リアリズムと品質を診断する技術的オーディケータとして評価した。
論文 参考訳(メタデータ) (2026-03-19T07:00:44Z) - PF-DAformer: Proximal Femur Segmentation via Domain Adaptive Transformer for Dual-Center QCT [8.358409792893278]
多施設定量的CT(QCT)に適したドメイン適応型トランスフォーマーセグメンテーションフレームワークを開発した。
当モデルでは, タラネ大学から1024個のQCT画像スキャン, ミネソタ州ロチェスターから384個の画像スキャンを行い, 大腿骨近位部セグメンテーションを行った。
論文 参考訳(メタデータ) (2025-10-30T18:07:56Z) - Learning from Heterogeneous Structural MRI via Collaborative Domain Adaptation for Late-Life Depression Assessment [24.340328016766183]
T1強調MRIを用いたLDD検出のための協調的ドメイン適応フレームワークを提案する。
このフレームワークは、ラベル付きソースデータに対する教師付きトレーニング、自己教師付きターゲット特徴適応、ラベルなしターゲットデータに対する協調トレーニングの3段階で構成されている。
マルチサイトT1強調MRIデータを用いて行った実験により、このフレームワークは最先端の非教師なし領域適応法より一貫して優れていることが示された。
論文 参考訳(メタデータ) (2025-07-30T01:38:32Z) - U2AD: Uncertainty-based Unsupervised Anomaly Detection Framework for Detecting T2 Hyperintensity in MRI Spinal Cord [7.811634659561162]
脊髄MR画像におけるT2過強度は、変性頚髄症などの病態において重要なバイオマーカーである。
深層学習法は病変検出の可能性を示してきたが、ほとんどの教師付きアプローチは大きな注釈付きデータセットに大きく依存している。
本稿では,これらの制約に対処するため,不確実性に基づくunsupervised Anomaly DetectionフレームワークであるU2ADを提案する。
論文 参考訳(メタデータ) (2025-03-17T17:33:32Z) - Unsupervised Domain Adaptation for Brain Vessel Segmentation through
Transwarp Contrastive Learning [46.248404274124546]
教師なし領域適応(Unsupervised domain adapt, UDA)は、ラベル付きソース分布とラベル付きターゲット分布との整合を目的とし、ドメイン不変な予測モデルを得る。
本稿では,ラベル付きソースと非ラベル付きターゲット分布の領域間ギャップを狭めるための,UDAのための簡易かつ強力なコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-23T10:01:22Z) - Unsupervised Cross-domain Pulmonary Nodule Detection without Source Data [36.61757663123084]
クロスドメイン肺結節検出は、ソースとターゲットドメイン間のデータ分布の大きなシフトにより、性能劣化に悩まされる。
本稿では,肺結節検出のためのソースフリーなUntuningクロスドメイン手法であるインスタンスレベルコントラストインストラクションファインメンテーションフレームワーク(ICI)を提案する。
肺結節検出のために,トレーニング済みのソースモデルを3つの一般的なデータセットに適応させることで,ベンチマークを確立する。
論文 参考訳(メタデータ) (2023-04-03T15:42:27Z) - Weakly-Supervised Cross-Domain Adaptation for Endoscopic Lesions
Segmentation [79.58311369297635]
異なるデータセットにまたがるトランスファー可能なドメイン不変知識を探索できる,新しい弱い教師付き病巣移動フレームワークを提案する。
wasserstein quantified transferability frameworkは、広い範囲の転送可能なコンテキスト依存性を強調するために開発されている。
新規な自己監督型擬似ラベル生成器は、送信困難かつ転送容易なターゲットサンプルの両方に対して、確実な擬似ピクセルラベルを等しく提供するように設計されている。
論文 参考訳(メタデータ) (2020-12-08T02:26:03Z) - What Can Be Transferred: Unsupervised Domain Adaptation for Endoscopic
Lesions Segmentation [51.7837386041158]
内視鏡的病変分割のための2つの相補的モジュールを含む新しい教師なしセマンティックトランスファーモデルを開発した。
特に、T_Dは、残留転写可能性を認識するボトルネックを介して、医療病変の伝達可能な視覚情報を翻訳する場所に焦点を当てている。
T_Fは、さまざまな病変のトランスファー可能なセマンティック機能を拡張し、自動的に非トランスファー可能な表現を無視する方法を強調している。
論文 参考訳(メタデータ) (2020-04-24T00:57:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。