論文の概要: Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain

• arxiv url: http://arxiv.org/abs/2606.04613v1
• Date: Wed, 03 Jun 2026 08:50:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-04 20:44:18.637681
• Title: Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain
• Title（参考訳）: 対称アライメントを超えて:医療領域における視覚・言語モデルにおけるモダリティ不均衡のスペクトル診断
• Authors: Alessandro Gambetti, Qiwei Han, Cláudia Soares, Hong Shen,
• Abstract要約: スペクトルアライメントスコア(SAS, Spectral Alignment Score)は、アンカーモダリティの主固有基底に両モードを投影し、固有値重み付き固有モード相関を計算する非対称な計量である。 実験の結果, 医用画像は2つの臨床報告よりもリッチな構造情報を保持しており, 競合するすべての指標には見えない方向非対称であり, SASは医療領域における検索性能と最強のゼロラベル相関を達成し, 臨床展開のための実用的な診断ツールとして位置づけていることがわかった。
• 参考スコア（独自算出の注目度）: 43.675927916974466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) struggle when applied to medical image-text data, yet the tools available to diagnose this failure remain limited. Existing representation alignment metrics are symmetric, collapsing both modalities into a single score and hiding which modality drives cross-modal degradation. We introduce the Spectral Alignment Score (SAS), an asymmetric metric that projects both modalities onto the principal eigenbasis of an anchor modality and computes eigenvalue-weighted per-eigenmode correlations, resulting in directional scores whose difference quantifies modality information imbalance. We embed SAS within a benchmarking framework evaluating 15 VLMs across natural and medical image-text datasets alongside 6 alignment metrics and bidirectional retrieval. Our experiments show that medical images retain richer structural information than their paired clinical reports, a directional asymmetry invisible to all competing metrics, and that SAS achieves the strongest zero-label correlation with retrieval performance in the medical domain, positioning it as a practical diagnostic tool for clinical deployment. Code is available at this URL: https://github.com/iamalegambetti/medical-vlms-assessment.
• Abstract（参考訳）: VLM(Vision-Language Models)は、医用画像テキストデータに適用する場合に苦労するが、この障害を診断するためのツールはまだ限られている。 既存のアライメント・アライメント・メトリクスは対称的であり、両方のモダリティを単一のスコアに分解し、モダリティがクロスモーダルな劣化を引き起こす隠蔽する。 スペクトルアライメントスコア(SAS, Spectral Alignment Score)は、アンカーモダリティの主固有基底に両モードを投影し、固有値重み付き固有モード相関を計算する非対称な計量である。 SASを、自然および医学的な画像テキストデータセットにまたがる15のVLMと、6つのアライメントメトリクスと双方向検索を評価するベンチマークフレームワークに組み込む。 実験の結果, 医用画像は2つの臨床報告よりもリッチな構造情報を保持しており, 競合するすべての指標には見えない方向非対称であり, SASは医療領域における検索性能と最強のゼロラベル相関を達成し, 臨床展開のための実用的な診断ツールとして位置づけていることがわかった。 https://github.com/iamalegambetti/medical-vlms-assesment.com/amalegambetti/ 医療用vlms-assesment.com コードは、このURLで入手できる。

関連論文リスト

• Synergizing Discriminative Exemplars and Self-Refined Experience for MLLM-based In-Context Learning in Medical Diagnosis [4.619078510367921]
  クリニック・ミメティックは、差別的模範的コアセット選択(DECS)と自己修正経験要約(SRES)を相乗化するために設計された新しいインコンテキスト・ラーニング(ICL)フレームワークである。 DECSは、ノイズデータから識別的視覚コアセットを計算レベルで選択することで、臨床医の「アンカーケース」を参照する能力をシミュレートする。 SRESは、多様なロールアウトを動的テキスト体験銀行に蒸留することにより、臨床診断における認知と反射を模倣する。
  論文  参考訳（メタデータ） (2026-03-29T15:29:59Z)
• Towards Reliable Medical LLMs: Benchmarking and Enhancing Confidence Estimation of Large Language Models in Medical Consultation [97.36081721024728]
  本稿では,現実的な医療相談におけるマルチターンインタラクションの信頼性を評価するための最初のベンチマークを提案する。 本ベンチマークでは,3種類の医療データを統合し,診断を行う。 本稿では,エビデンスを基盤とした言語自己評価フレームワークであるMedConfを紹介する。
  論文  参考訳（メタデータ） (2026-01-22T04:51:39Z)
• MedGRPO: Multi-Task Reinforcement Learning for Heterogeneous Medical Video Understanding [47.843626983298726]
  textbfMedVidBenchは、ビデオ、セグメント、フレームレベルのタスクにまたがる8つの医療ソースにわたる531,850のビデオインストラクションペアの大規模なベンチマークである。 MedVidBenchの教師付き微調整は顕著な利益をもたらすが、標準強化学習はデータセット間の不均衡な報酬スケールのために失敗する。 textbfMedGRPOは、2つの重要な革新を伴うバランスの取れたマルチデータセットトレーニングのための新しいRLフレームワークである。
  論文  参考訳（メタデータ） (2025-12-06T22:27:59Z)
• MIRNet: Integrating Constrained Graph-Based Reasoning with Pre-training for Diagnostic Medical Imaging [67.74482877175797]
  MIRNetは、自己教師付き事前学習と制約付きグラフベースの推論を統合する新しいフレームワークである。 TongueAtlas-4Kは,22の診断ラベルを付した4,000枚の画像からなるベンチマークである。
  論文  参考訳（メタデータ） (2025-11-13T06:30:41Z)
• DiA-gnostic VLVAE: Disentangled Alignment-Constrained Vision Language Variational AutoEncoder for Robust Radiology Reporting with Missing Modalities [3.5045368873011924]
  本稿では,Dentangled Alignment を用いた頑健な放射線診断を行う DiA-gnostic VLVAE を提案する。 我々のフレームワークは、共有機能とモダリティ固有の機能を混在させることにより、モダリティの欠如に耐性を持つように設計されている。 コンパクトなLLaMA-Xデコーダは、これらの不整合表現を使用してレポートを効率的に生成する。
  論文  参考訳（メタデータ） (2025-11-08T11:08:27Z)
• AI Alignment in Medical Imaging: Unveiling Hidden Biases Through Counterfactual Analysis [16.21270312974956]
  人口統計学などのセンシティブな属性に対する医療画像MLモデルの依存性を評価するための新しい統計フレームワークを提案する。 本稿では,条件付き潜伏拡散モデルと統計的仮説テストを組み合わせて,そのようなバイアスを特定し定量化する実用的なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-28T09:28:25Z)
• Improving Multiple Sclerosis Lesion Segmentation Across Clinical Sites: A Federated Learning Approach with Noise-Resilient Training [75.40980802817349]
  深層学習モデルは、自動的にMS病変を分節する約束を示しているが、正確な注釈付きデータの不足は、この分野の進歩を妨げている。 我々は,MS病変の不均衡分布とファジィ境界を考慮したDecoupled Hard Label Correction(DHLC)戦略を導入する。 また,集約型中央モデルを利用したCELC(Centrally Enhanced Label Correction)戦略も導入した。
  論文  参考訳（メタデータ） (2023-08-31T00:36:10Z)
• A Joint Network Optimization Framework to Predict Clinical Severity from Resting State Functional MRI Data [3.276067241408604]
  静止状態fMRI(rs-fMRI)データから臨床重症度を予測する新しい枠組みを提案する。 フレームワークを2つの別々のデータセット上で10倍のクロスバリデーション設定で検証する。
  論文  参考訳（メタデータ） (2020-08-27T23:43:25Z)
• Semi-supervised Medical Image Classification with Relation-driven Self-ensembling Model [71.80319052891817]
  医用画像分類のための関係駆動型半教師付きフレームワークを提案する。 これは、摂動下で与えられた入力の予測一貫性を促進することでラベルのないデータを利用する。 本手法は,シングルラベルおよびマルチラベル画像分類のシナリオにおいて,最先端の半教師付き学習手法よりも優れる。
  論文  参考訳（メタデータ） (2020-05-15T06:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。