論文の概要: On the Cone Effect and Modality Gap in Medical Vision-Language Embeddings

• arxiv url: http://arxiv.org/abs/2603.17246v1
• Date: Wed, 18 Mar 2026 01:04:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.463236
• Title: On the Cone Effect and Modality Gap in Medical Vision-Language Embeddings
• Title（参考訳）: 医療用ビジョンランゲージインベディングにおけるコーン効果とモダリティギャップについて
• Authors: David Restrepo, Miguel L Martins, Chenwei Wu, Luis Filipe Nakayama, Diego M Lopez, Stergios Christodoulidis, Maria Vakalopoulou, Enzo Ferrante,
• Abstract要約: VLM(Vision-Language Models)は、非線形エンコーダが表現空間の高度に集中した領域に埋め込む特徴的な「コーン効果」を示す。 本稿では, クロスモーダル分離を継続的に制御しながら, 事前学習したVLMエンコーダを凍結し続ける軽量なポストホック機構を提案する。 これにより、モダリティギャップが高価なリトレーニングなしで下流のマルチモーダルパフォーマンスにどのように影響するかを体系的に分析することができる。
• 参考スコア（独自算出の注目度）: 6.66266390476704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language Models (VLMs) exhibit a characteristic "cone effect" in which nonlinear encoders map embeddings into highly concentrated regions of the representation space, contributing to cross-modal separation known as the modality gap. While this phenomenon has been widely observed, its practical impact on supervised multimodal learning -particularly in medical domains- remains unclear. In this work, we introduce a lightweight post-hoc mechanism that keeps pretrained VLM encoders frozen while continuously controlling cross-modal separation through a single hyperparameter {λ}. This enables systematic analysis of how the modality gap affects downstream multimodal performance without expensive retraining. We evaluate generalist (CLIP, SigLIP) and medically specialized (BioMedCLIP, MedSigLIP) models across diverse medical and natural datasets in a supervised multimodal settings. Results consistently show that reducing excessive modality gap improves downstream performance, with medical datasets exhibiting stronger sensitivity to gap modulation; however, fully collapsing the gap is not always optimal, and intermediate, task-dependent separation yields the best results. These findings position the modality gap as a tunable property of multimodal representations rather than a quantity that should be universally minimized.
• Abstract（参考訳）: VLM(Vision-Language Models)は、非線形エンコーダが表現空間の高度に集中した領域に埋め込み、モダリティギャップとして知られるクロスモーダル分離に寄与する特徴的な「コーン効果」を示す。 この現象は広く観測されているが、教師付きマルチモーダルラーニング(特に医学領域における)への実践的影響はいまだ不明である。 本研究では,1つのハイパーパラメータ {λ} を通したモード間分離を連続的に制御しながら,事前学習したVLMエンコーダを凍結し続ける軽量なポストホック機構を導入する。 これにより、モダリティギャップが、高価なリトレーニングなしで下流のマルチモーダルパフォーマンスにどのように影響するかを体系的に分析することができる。 我々は,総合論者 (CLIP, SigLIP) と専門医 (BioMedCLIP, MedSigLIP) のモデルを, 様々な医学的, 自然的なデータセットに対して, 教師付きマルチモーダルな設定で評価した。 その結果、過度なモダリティギャップの低減は下流のパフォーマンスを向上させることが一貫して示され、医用データセットはギャップ変調に対する感度が強いが、ギャップの完全崩壊は必ずしも最適ではなく、中間的なタスク依存の分離が最良の結果をもたらすことがわかった。 これらの知見は、モダリティギャップを、普遍的に最小化すべき量ではなく、マルチモーダル表現のチューナブルな性質として位置づけている。

関連論文リスト

• Uncertainty-Aware Vision-Language Segmentation for Medical Imaging [12.545486211087791]
  医療診断のための新しい不確実性を考慮したマルチモーダルセグメンテーションフレームワークを提案する。 本稿では,高効率なクロスモーダル融合を実現するために,軽量なステートスペースミキサ(SSMix)を備えたModality Decoding Attention Block (MoDAB)を提案する。 本研究は,視覚言語医学的セグメンテーションタスクにおいて,不確実性モデリングと構造化モダリティアライメントを取り入れることの重要性を強調した。
  論文  参考訳（メタデータ） (2026-02-16T06:27:51Z)
• Explaining multimodal LLMs via intra-modal token interactions [55.27436637894534]
  MLLM(Multimodal Large Language Models)は、様々な視覚言語タスクにおいて顕著な成功を収めているが、その内部決定機構は十分に理解されていない。 モーダル内相互作用を利用した解釈可能性の向上を提案する。
  論文  参考訳（メタデータ） (2025-09-26T14:39:13Z)
• Towards Scalable and Robust White Matter Lesion Localization via Multimodal Deep Learning [2.0749231618270803]
  ホワイトマター・ハイパーインテンシティ(White matter hyperintensities, WMH)は、小血管疾患や神経変性の放射線マーカーであり、正確なセグメンテーションと局所化が診断とモニタリングに不可欠である。 単一モードのMRI入力とマルチモードのMRI入力を用いて,WM病変分割と局所化の深層学習フレームワークを提案する。 本研究は, 高精度かつ堅牢なWMH解析のためのマルチモーダルフュージョンの有用性と, 統合予測のためのジョイントモデリングの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2025-06-27T09:39:26Z)
• Reducing Unimodal Bias in Multi-Modal Semantic Segmentation with Multi-Scale Functional Entropy Regularization [66.10528870853324]
  高精度な予測タスクのための新しいセンサからのマルチモーダル入力の再利用とバランスが重要である。 1つの大きな制限は、マルチモーダルフレームワークが容易に学習可能なモダリティに過度に依存する傾向があることである。 本稿では,機能的エントロピーに基づくプラグ・アンド・プレイ正規化項を提案する。
  論文  参考訳（メタデータ） (2025-05-10T12:58:15Z)
• Robust Multimodal Learning for Ophthalmic Disease Grading via Disentangled Representation [30.697291934309206]
  医療機器の欠如とデータのプライバシーに関する懸念により、マルチモーダルデータは現実世界のアプリケーションではまれである。 伝統的な深層学習法は一般に、潜在空間における表現の学習によってこれらの問題に対処する。 著者らはEssence-Point and Disentangle Representation Learning (EDRL)戦略を提案している。
  論文  参考訳（メタデータ） (2025-03-07T10:58:38Z)
• Mitigating Hallucination for Large Vision Language Model by Inter-Modality Correlation Calibration Decoding [66.06337890279839]
  大規模視覚言語モデル(LVLM)は、下流のマルチモーダルタスクに対する視覚言語理解において顕著な能力を示している。 LVLMは、複雑な生成タスクにおいて幻覚を生じさせ、視覚入力と生成されたコンテンツの間に矛盾が生じている。 本研究では,LVLMにおける幻覚を無訓練で緩和するIMCCD法を提案する。
  論文  参考訳（メタデータ） (2025-01-03T17:56:28Z)
• On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
  マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。 広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。 そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-15T13:15:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。