論文の概要: What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies

• arxiv url: http://arxiv.org/abs/2610.15035v1
• Date: Sat, 10 Oct 2026 16:19:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 02:49:27.498429
• Title: What Really Works for Universal Multimodal Embeddings? A Controlled Study of Contrastive Training Strategies
• Title（参考訳）: ユニバーサル・マルチモーダル・エンベディングの実際について : コントラスト・トレーニング・ストラテジーの制御研究
• Abstract要約: 本研究では,制御された再現可能な条件下でのコントラストトレーニング戦略の有効性について検討した。 既存の戦略のほとんどは、標準に整合したベースラインよりも限界的な利益をもたらし、全体的なパフォーマンスをさらに低下させています。 本研究は,一般的なコントラスト戦略を実証し,汎用マルチモーダル埋め込みモデルのトレーニングに有効なレシピを提供する。
• 参考スコア（独自算出の注目度）: 52.38593911447628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has become the standard paradigm for multimodal representation learning, aligning semantically matched pairs while separating mismatched ones in a shared embedding space. Although various contrastive training strategies have been proposed across negative selection, batch construction, and gradient modulation, their actual effectiveness under controlled, reproducible conditions remains poorly understood. This motivates a fundamental question: Do sophisticated contrastive strategies consistently bring meaningful downstream gains in multimodal embedding learning? To address this, we systematically evaluate representative strategies under a unified benchmarking framework on MMEB. Surprisingly, direct evaluations reveal that most existing strategies offer marginal gains over a standard aligned baseline, with several even degrading overall performance. To uncover the underlying failure modes, we introduce an MLLM-as-a-Judge diagnostic framework that dissects top-1 retrieval behaviors into labeled positives, false negatives (unlabeled valid matches), and hard/easy negative errors. Our systematic analysis yields three key insights: (1) Gradient distortion: Upweighting gradients from high-similarity negatives consistently hurts downstream generalization; (2) Distribution illusion: Wider separation between positive and negative similarity distributions does not necessarily translate to better retrieval performance; and (3) Synergistic training: While false-negative mitigation or hard-batch construction yields limited gains in isolation, integrating hard-negative mining, false-negative mitigation, and hard-batch construction achieves optimal performance, delivering an average improvement of 6.0% on MMEB with Qwen2-VL-2B. Overall, our findings demystify popular contrastive strategies and provide actionable recipes for training universal multimodal embedding models.
• Abstract（参考訳）: コントラスト学習はマルチモーダル表現学習の標準パラダイムとなり、セマンティックマッチングされたペアを整合させ、ミスマッチしたペアを共有埋め込み空間に分離する。 否定的選択、バッチ構成、勾配変調にまたがる様々な対照的な訓練戦略が提案されているが、その実効性は制御された再現可能な条件下ではよく分かっていない。 洗練されたコントラスト戦略は、マルチモーダル埋め込み学習において、常に意味のあるダウンストリームゲインをもたらしますか? そこで本稿では,MMEB上での統一ベンチマークフレームワークによる代表戦略を体系的に評価する。 意外なことに、直接的な評価では、既存の戦略のほとんどが標準の基準ラインよりも限界的な利得を提供しており、全体的なパフォーマンスはさらに低下している。 そこで我々は, MLLM-as-a-Judge診断フレームワークを導入し, トップ1検索動作をラベル付き正, 偽陰性(ラベル付き有効一致), ハード/イージーな負の誤りに識別する。 系統的分析では,(1) 勾配歪み: 高相似性陰性からの重み付け勾配が常に下流の一般化を損なう,(2) 分布錯覚: 正の類似性分布と負の類似性分布のより広い分離は必ずしもより良い検索性能に寄与しない,(3) 相乗的学習: 偽陰性緩和やハードバッチ構築は孤立度が制限される一方で, 硬負性マイニング, 偽負性緩和, ハードバッチ構造を統合することにより, MMEBをQwen2-VL-2Bで平均6.0%向上させる。 全体として,一般的なコントラスト戦略をデミスティクスし,汎用なマルチモーダル埋め込みモデルをトレーニングするための実用的なレシピを提供する。

関連論文リスト

• Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
  構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。 グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。 特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
  論文  参考訳（メタデータ） (2026-04-20T16:43:28Z)
• UniME-V2: MLLM-as-a-Judge for Universal Multimodal Embedding Learning [101.62386137855704]
  本稿では,Universal Multimodal Embedding (UniME-V2)モデルを提案する。 提案手法はまず,グローバル検索による潜在的な負のセットを構築する。 次に、MLLMを用いてクエリ候補対のセマンティックアライメントを評価するMLLM-as-a-Judge機構を提案する。 これらのスコアは、ハード・ネガティブ・マイニングの基礎となり、偽陰性の影響を緩和し、多様な高品質なハード・ネガティブの識別を可能にする。
  論文  参考訳（メタデータ） (2025-10-15T13:07:00Z)
• Decoupled Contrastive Learning for Federated Learning [0.0]
  Decoupled Contrastive Learning for Federated Learning (DCFL)を紹介する。 DCFLは、既存の対照的な損失を2つの目的に分離する、新しいフレームワークである。 以上の結果から,DCFLは正試料間の配向が強く,負試料間の一様性が高いことがわかった。
  論文  参考訳（メタデータ） (2025-08-06T01:39:54Z)
• From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model [29.879983760203256]
  MLLM(Multimodal Large Language Models)は、汎用的な埋め込みタスクのための有望なソリューションとして登場した。 しかし、その生成的性質を差別的表現学習に適用することは、依然として重要な課題である。 本稿では,2つの相乗的成分を中心としてギャップを埋める,普遍的マルチモーダル埋め込みのための効率的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-08-01T07:31:24Z)
• Dissecting Long-Chain-of-Thought Reasoning Models: An Empirical Study [91.78803511141975]
  この研究は、強化学習のスケーリングにおける正と負のサンプルの役割に焦点を当てている。 グループ相対的政策最適化において、サンプルの半数以上がゼロの優位性を持つような実質的なデータ非効率性を同定する。 本研究では,様々な推論モデルとベンチマークの不安定な性能について検討し,不明瞭な結果を伴う不確実な問題に対する不安定性について考察した。
  論文  参考訳（メタデータ） (2025-06-05T11:47:10Z)
• Unearthing Gems from Stones: Policy Optimization with Negative Sample Augmentation for LLM Reasoning [41.83677588934301]
  負のサンプル拡張(BCPG-NSA)による行動制約付きポリシーのグラディエントを提案する。 BCPG-NSA は,1) サンプルセグメンテーション,2) LLM と PRM を併用した合意に基づくステップ正当性評価,3) 正のステップを負のサンプル内で効果的にマイニングするNSA とのポリシー最適化の3段階を含む,詳細なオフラインフレームワークである。 実験の結果、BCPG-NSAは、同じトレーニングデータセットを使用して、いくつかの挑戦的な数学/コーディング推論ベンチマークのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2025-05-20T14:16:49Z)
• Resisting Adversarial Attacks in Deep Neural Networks using Diverse Decision Boundaries [12.312877365123267]
  深層学習システムは、人間の目には認識できないが、モデルが誤分類される可能性がある、人工的な敵の例に弱い。 我々は,オリジナルモデルに対する多様な決定境界を持つディフェンダーモデルを構築するための,アンサンブルに基づく新しいソリューションを開発した。 我々は、MNIST、CIFAR-10、CIFAR-100といった標準画像分類データセットを用いて、最先端の敵攻撃に対する広範な実験を行った。
  論文  参考訳（メタデータ） (2022-08-18T08:19:26Z)
• Solving Inefficiency of Self-supervised Representation Learning [87.30876679780532]
  既存のコントラスト学習法は、非常に低い学習効率に苦しむ。 アンダークラスタリングとオーバークラスタリングの問題は、学習効率の大きな障害である。 中央三重項損失を用いた新しい自己監督学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-18T07:47:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。