論文の概要: One Geometry, Different Outcomes: Readout-Dependent Effects of the Modality Gap in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2609.36101v1
• Date: Mon, 28 Sep 2026 18:40:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.955448
• Title: One Geometry, Different Outcomes: Readout-Dependent Effects of the Modality Gap in Vision-Language Models
• Title（参考訳）: 異なる結果の1つの幾何学:視覚・言語モデルにおけるモダリティギャップの読み出し依存効果
• Abstract要約: タスク依存効果の統一的な幾何学的説明を提供する。 ゼロショット分類では、クエリ側固定ギャップオフセットサブトラクションは、正に加法クラスバイアスと同値である。 混合モーダル検索では、ギャップ方向は候補をモダリティでソートする。
• 参考スコア（独自算出の注目度）: 7.136614919394685
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive vision-language models learn shared embedding spaces by aligning matched image-text pairs, yet their representations remain separated by a modality gap. Prior work reports divergent effects of modifying this gap: reducing it can improve zero-shot classification and cross-modal alignment, whereas removing gap-related structure can degrade image-text retrieval. In this paper, we provide a unified geometric explanation for these task-dependent effects. Across CLIP and SigLIP encoders, we find that a single dominant direction captures 94.4-99.9% of the squared norm of the image-text mean separation, revealing that the mean-separation component is approximately rank-one. A decomposition of the similarity score then identifies three task-specific roles. In zero-shot classification, query-side fixed gap-offset subtraction is exactly equivalent to an additive class bias. In standard cross-modal retrieval, projecting out the gap direction and renormalising residuals discards candidate-specific norm information, inducing a multiplicative ranking distortion; a geometry-derived exponent tracks the grid-search optimum (Spearman rho = 0.93) and restores performance in some settings, although the gains transfer unevenly. In mixed-modal retrieval, the gap direction sorts candidates by modality; its removal can improve cross-modal ranking, unlike random or non-gap controls. Residual semantic structure after removal defines the limits of the rank-one account. Together, these results explain why gap modification can improve, degrade, or restore performance across downstream settings. By clarifying when and why gap modification changes model behavior, this account provides a principled basis for selecting gap interventions in similarity-based vision-language systems across evaluated downstream tasks.
• Abstract（参考訳）: 対照的な視覚言語モデルは、一致した画像とテキストのペアを整列させることで共有埋め込み空間を学習するが、それらの表現はモダリティギャップによって分離される。 従来の研究報告では、このギャップを修正すれば、ゼロショットの分類やモーダルのアライメントを改善することができるが、ギャップに関連した構造を取り除くことは、画像テキストの検索を劣化させる可能性がある。 本稿では,これらのタスク依存効果について,統一的な幾何学的説明を行う。 CLIPとSigLIPエンコーダ全体で、1つの支配方向が画像テキスト平均分離の2乗ノルムの94.4-99.9%をキャプチャし、平均分離成分がほぼランク1であることを明らかにする。 類似性のスコアを分解すると、3つのタスク固有の役割が特定される。 ゼロショット分類では、クエリ側固定ギャップオフセットサブトラクションは、正に加法クラスバイアスと同値である。 標準のクロスモーダル検索では、ギャップ方向を投影し、残差を再正規化することで、候補固有のノルム情報を破棄し、乗法的ランクの歪みを誘発し、幾何由来指数はグリッド探索最適度(Spearman rho = 0.93)を追跡し、いくつかの設定で性能を回復するが、ゲインは不均一に転送される。 混合モーダル検索では、ギャップ方向は候補をモダリティによってソートする。 削除後の残留意味構造は、ランクワンアカウントの限界を定義する。 これらの結果は、なぜギャップ修正が下流設定でパフォーマンスを改善したり、劣化させたり、回復させたりするのかを説明する。 ギャップ修正がモデル動作をいつ,なぜ変更するかを明らかにすることにより、評価された下流タスク間の類似性に基づく視覚言語システムにおけるギャップ介入を選択するための原則的基礎を提供する。

関連論文リスト

• Consistent Evidence, Robust Recognition: Faithful Attribution Regularization under Geometric Transformations [42.90321348046055]
  画像領域のサブモジュール探索に基づくアノテーションのない属性正規化フレームワークを提案する。 候補部分集合がモデル出力にどのように影響するかを測定することで、探索は、コンパクトでクラス識別的な証拠を探索由来の監督として抽出する。 ImageNet-100の実験結果から,VT-B/16の属性安定性,挿入性,削除性は0.28ポイントの精度低下で大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2026-07-26T20:41:38Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift [17.611062308867275]
  分布シフトは、モデルが積極的に使用する部分空間を回転させ、イン・ディストリビューション(ID)アクティベーションに基づいて訓練された説明者の辞書を誤ることを示す。 我々は,このミスアライメントを,ID辞書とOOD活性部分空間との間の幾何学的距離である忠実度ギャップとして定式化する。 提案するGeometry-Adaptive Explainer (GAE, Geometry-Adaptive Explainer) は,従来の特徴構造を保ちながら,OOD-active 部分空間で説明者の辞書を実現する。
  論文  参考訳（メタデータ） (2026-05-21T00:46:01Z)
• Learn to Rank: Visual Attribution by Learning Importance Ranking [58.69028273772474]
  コンピュータビジョンモデルのための視覚属性マップを生成する新しい手法を提案する。 提案手法は, 任意の数段階の勾配補正を施した1つの前方通過において, 密度の高い画素レベルの属性を生成する。 我々の実験は、一貫した定量的改善と、よりシャープで境界に沿った説明を示す。
  論文  参考訳（メタデータ） (2026-04-07T12:53:22Z)
• The Geometry of Compromise: Unlocking Generative Capabilities via Controllable Modality Alignment [24.22523653033535]
  視覚言語モデルは画像とテキストの共有埋め込み空間を学ぶが、それらの表現は幾何学的に分離されている。 このギャップは、キャプションや共同クラスタリングのような、モーダル間交換性を必要とするタスクを制限する。 本稿では,TPC-CMA (Three-Phase Curriculum for Cross-Modal Alignment)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T22:11:49Z)
• DQE-CIR: Distinctive Query Embeddings through Learnable Attribute Weights and Target Relative Negative Sampling in Composed Image Retrieval [53.482391830683014]
  合成画像検索(CIR)は、参照画像と、意図した変更を特定する修正テキストとを共同で解釈することにより、対象画像を検索するタスクに対処する。 既存のほとんどの手法は、基底の真理像を唯一の正の例として扱い、残りの全ての画像を負の例として扱う対照的な学習フレームワークの上に構築されている。 学習可能な属性重みとターゲットの相対的負サンプリングによるクエリ埋め込みを提案する。
  論文  参考訳（メタデータ） (2026-03-04T13:17:44Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Distractors-Immune Representation Learning with Cross-modal Contrastive Regularization for Change Captioning [71.14084801851381]
  変更キャプションは、類似した画像間のセマンティックな変化を簡潔に記述することを目的としている。 既存のほとんどの手法は、それらの違いを直接キャプチャし、エラーを起こしやすい特徴を得るリスクを負う。 本稿では,2つの画像表現の対応するチャネルを関連づけるイントラクタ免疫表現学習ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-07-16T13:00:33Z)
• Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP [22.076206386214565]
  コントラスト言語-画像事前学習は、ゼロショット分類とクロスモーダル視覚言語タスクにおいて顕著に改善されている。 幾何学的な観点から、CLIP埋め込み空間は明らかにモダリティギャップを持つ。 本稿では,AlignCLIPが組込みのクロスモーダルアライメントにおいて顕著な拡張を実現していることを示す。
  論文  参考訳（メタデータ） (2024-06-25T15:24:02Z)
• Semantic Distribution-aware Contrastive Adaptation for Semantic Segmentation [50.621269117524925]
  ドメイン適応セマンティックセグメンテーション(ドメイン適応セマンティックセグメンテーション)とは、特定のソースドメインのアノテーションだけで特定のターゲットドメイン上で予測を行うことを指す。 画素ワイド表示アライメントを可能にする意味分布対応コントラスト適応アルゴリズムを提案する。 複数のベンチマークでSDCAを評価し、既存のアルゴリズムを大幅に改善します。
  論文  参考訳（メタデータ） (2021-05-11T13:21:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。