論文の概要: On the modality gap and the contrastive loss in multi-modal representation learning

• arxiv url: http://arxiv.org/abs/2607.10698v1
• Date: Sun, 12 Jul 2026 10:41:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.506731
• Title: On the modality gap and the contrastive loss in multi-modal representation learning
• Title（参考訳）: マルチモーダル表現学習におけるモダリティギャップとコントラスト損失について
• Abstract要約: コントラスト学習におけるCLIP型二重エンコーダのモダリティギャップについて検討した。 このギャップは、独立エンコーダによるInfoNCEの定式化の失敗によって引き起こされる。 モーダル間およびモダリティ内負のコントラスト対を用いたxNCEという簡単な修正を提案する。
• 参考スコア（独自算出の注目度）: 3.249853429482705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the modality gap in CLIP-style dual-encoder contrastive learning, where image and text embeddings remain misaligned despite being trained in a shared space. We argue that the gap is induced by a failure of the InfoNCE formulation with independent encoders. We conduct a uni-modal experiment with two independent encoders and identical initialization conditions and find that InfoNCE actively generates a gap at low temperatures. We provide a theoretical analysis of this phenomenon and show that the modality gap is indeed a mode-failure of InfoNCE, but only at low temperatures. We propose a simple modification called xNCE, which uses intermodal as well as intra-modality negative contrastive pairs. xNCE matches retrieval performance on MS-COCO while consistently reducing the gap even at low temperatures. Notably, xNCE improves zero-shot classification over the InfoNCE baseline across all benchmarks, whereas high-temperature InfoNCE and regularized InfoNCE both fail to do so, demonstrating that xNCE reduces the modality gap without sacrificing the discriminative geometry needed for transfer.
• Abstract（参考訳）: 画像とテキストの埋め込みは、共有空間で訓練されているにもかかわらず、相反するままであるCLIPスタイルの二重エンコーダコントラスト学習におけるモダリティギャップについて検討する。 このギャップは、独立エンコーダによるInfoNCEの定式化の失敗によって引き起こされると我々は主張する。 我々は,2つの独立エンコーダと同一初期化条件を用いた一様実験を行い,InfoNCEが低温でのギャップを積極的に生成することを発見した。 我々は,この現象の理論的解析を行い,モダリティギャップが実際はInfoNCEのモード障害であるが,低温のみであることを示す。 モーダル間およびモダリティ内負のコントラスト対を用いるxNCEという簡単な修正を提案する。 xNCE は MS-COCO 上での検索性能と一致し, 低温でも連続的にギャップを減らした。 特に、xNCEはInfoNCEベースラインのゼロショット分類をすべてのベンチマークで改善するが、高温InfoNCEと正規化InfoNCEはどちらも失敗し、xNCEは転送に必要な識別幾何学を犠牲にすることなくモダリティギャップを減少させることを示した。

関連論文リスト

• Effective Covariance Dynamics in Solvable High-Dimensional GANs [2.639628765667673]
  線形生成器がデータから低次元部分空間を学習するGANトレーニングの可解な高次元モデルについて検討する。 顕微鏡トレーニングプロセスが高次元の極限において、この効果的な共分散によって支配される決定論的常微分方程式に収束することを証明する。
  論文  参考訳（メタデータ） (2026-06-25T16:33:54Z)
• Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine [60.669081685261965]
  拡散モデルは、顕著な品質で高次元データを生成する。 彼らのトレーニングがいかに効率的にスコア関数を学習するかは理論的には説明がつかないままである。 我々はこの原理をScore-induced Latent Diffusion (SiLD)として定式化する。
  論文  参考訳（メタデータ） (2026-05-16T16:51:10Z)
• Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs [77.42033827176806]
  ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。 本稿では,合成画像の全パッチをフル活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベルフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-11T15:49:08Z)
• Scalable, Explainable and Provably Robust Anomaly Detection with One-Step Flow Matching [14.503330877000758]
  Time-Conditioned Contraction Matching is a novel method for semi-supervised anomaly detection in tabular data。 これは、確率分布間の速度場を学習する最近の生成モデリングフレームワークであるフローマッチングにインスパイアされている。 ADBenchベンチマークの大規模な実験により、TCCMは検出精度と推論コストのバランスが良好であることが示されている。
  論文  参考訳（メタデータ） (2025-10-21T06:26:38Z)
• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Dynamically Scaled Temperature in Self-Supervised Contrastive Learning [11.133502139934437]
  本稿では,コサインの類似性に依存した温度スケーリング機能を提案することで,自己教師型学習におけるInfoNCE損失の性能向上に着目する。 実験的な証拠は、提案フレームワークが損失ベースのSSLアルゴリズムよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-08-02T13:31:41Z)
• Unpaired Adversarial Learning for Single Image Deraining with Rain-Space Contrastive Constraints [61.40893559933964]
  我々は,CDR-GAN という名称の GAN フレームワークにおいて,比較学習手法により,経験者の相互特性を探索する有効な非経験的 SID 手法を開発した。 提案手法は, 合成および実世界の両方のデータセットにおいて, 既存の非対効果のデラミニング手法に対して良好に動作し, 完全教師付きモデルや半教師付きモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-09-07T10:00:45Z)
• Simpler, Faster, Stronger: Breaking The log-K Curse On Contrastive Learners With FlatNCE [104.37515476361405]
  比較学習者が小さいバッチサイズで失敗する理由を数学的に明らかにする。 この問題を解決するために,FlatNCEという新たな非ネイティブコントラスト目標を提案する。
  論文  参考訳（メタデータ） (2021-07-02T15:50:43Z)
• Integrating Information Theory and Adversarial Learning for Cross-modal Retrieval [19.600581093189362]
  マルチメディアコミュニティでは,クロスモーダル検索における視覚データとテキストデータのマッチングが広く研究されている。 シャノン情報理論と対比学習の統合を提案する。 ギャップの観点からは,モダリティ分類と情報エントロピーを相反的に統合する。
  論文  参考訳（メタデータ） (2021-04-11T11:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。