論文の概要: Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder

• arxiv url: http://arxiv.org/abs/2610.11374v2
• Date: Fri, 09 Oct 2026 01:43:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.200925
• Title: Rethinking Contrastive Loss in CLIP Post-training: A Complementary Framework with Frozen Text Encoder
• Title（参考訳）: CLIPポストトレーニングにおけるコントラスト損失の再考:凍結テキストエンコーダによる補完フレームワーク
• Abstract要約: 我々は,CLIPのテキストエンコーダを凍結する軽量な単一エポックポストトレーニングレシピである textbfComCLIP を提案する。 ComCLIPは、ゼロショット分類で自己蒸留ベースラインCLIP-Refineと一致し、視覚的特徴の伝達性を大幅に改善した。 LLaVA-1.5-7Bのドロップイン・ビジョン・エンコーダとして、プロジェクタやLLMを再調整することなく使用され、ComCLIPは8ドルのVLMベンチマークでネット変更をしない。
• 参考スコア（独自算出の注目度）: 17.600451384432162
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CLIP serves as a foundational vision-language model and the de facto vision encoder for downstream VLMs such as LLaVA. Post-training offers a lightweight route to refine CLIP, but recent work argues that the standard contrastive loss is unsuitable for post-training due to catastrophic forgetting under small batches, motivating designs that abandon the contrastive objective in favor of distillation. We revisit this premise and find that, for the InfoNCE objective, the reported forgetting is driven primarily not by insufficient negatives but by an inappropriate magnitude of the contrastive temperature $τ$: with $τ$ set sufficiently small, contrastive post-training improves rather than degrades the pretrained CLIP, which we explain through the temperature dependence of the InfoNCE gradient. Building on this finding, we propose \textbf{ComCLIP}, a lightweight single-epoch post-training recipe that freezes CLIP's text encoder---so the refined vision encoder is a drop-in replacement with unchanged architecture and inference cost---and trains the vision encoder with a properly-tempered contrastive loss, an MSE anchoring loss against the original CLIP, and a relational distillation loss from DINOv2. Over multiple seeds, ComCLIP matches the self-distillation baseline CLIP-Refine on zero-shot classification while significantly improving the transferability of visual features, measured by linear probing ($48.99$ vs.\ $42.28$ on ViT-B/16), and on ViT-L/14 it also improves MMVP over CLIP-Refine ($24.20$ vs.\ $19.01$); CLIP-Refine remains stronger on image-text retrieval. Used as a drop-in vision encoder for LLaVA-1.5-7B without re-aligning the projector or LLM, ComCLIP yields no net change across $8$ VLM benchmarks, i.e., the refinement does not break downstream compatibility. Code and models are available at https://github.com/showstarpro/ComCLIP.git.
• Abstract（参考訳）: CLIPは、LLaVAのような下流VLMのための基礎的な視覚言語モデルとデファクト視覚エンコーダとして機能する。 ポストトレーニングはCLIPを改良するための軽量なルートを提供するが、最近の研究は、コントラストの目的を放棄して蒸留を推奨する設計を動機付け、小さなバッチで破滅的な忘れ物のためにポストトレーニングに標準的なコントラストの損失は適さないと主張している。 我々はこの前提を再考し、InfoNCEの目的について、報告された忘れは主として不十分な負ではなく、コントラスト温度$τ$:$τ$セットで十分小さく、コントラストのあるポストトレーニングにより、事前訓練されたCLIPを劣化させるよりも改善され、InfoNCE勾配の温度依存性によって説明される。 そこで,本研究では,CLIP のテキストエンコーダを凍結する軽量なシングルエポックポストトレーニングレシピである \textbf{ComCLIP} を提案する。つまり,改良されたビジョンエンコーダは,不規則なアーキテクチャと推論コストによるドロップイン置換であり,ビジョンエンコーダを適切なコントラスト損失,元のCLIP に対する MSE のアンカー損失,DINOv2 からのリレーショナル蒸留損失をトレーニングする。 複数の種にまたがって、ComCLIPはゼロショット分類で自己蒸留ベースラインCLIP-Refineと照合し、線形探索(48.99ドル対)によって測定された視覚的特徴の伝達性を大幅に改善した。 ViT-B/16で42.28ドル、ViT-L/14でMMVPをCLIP-Refine(24.20ドル対)で改善する。 イメージテキスト検索では、CLIP-Refineの方が依然として強い。 LLaVA-1.5-7Bのドロップイン・ビジョン・エンコーダとして、プロジェクタやLLMを再調整することなく使用されており、ComCLIPは8ドルのVLMベンチマークでネット変更をしない。 コードとモデルはhttps://github.com/showstarpro/ComCLIP.gitで入手できる。

関連論文リスト

• $λ$-JEPA Spectral Anti-Collapse Regularization for Self-Supervised Learning [47.712647817061566]
  共同埋め込み型自己教師学習は、通常、拡張ビュー全体にわたる不変目的と、表現的崩壊を防ぐための追加メカニズムを組み合わせる。 本稿では、$$- Balanceの分析により、スペクトル反崩壊正則化器SACRegを紹介する。 二層線形ネットワークでは、(i)$- Balanceが崩壊を防止し、(ii)バックボーンに適用した正規化器が$- Balanceを誘導することを示す。
  論文  参考訳（メタデータ） (2026-09-28T14:34:54Z)
• LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics [50.45297537821907]
  我々はLeJEPAの崩壊のない目的の下で訓練された最初のビデオエンコーダLeVJEPAを紹介する。 単一のエンコーダは、クリップのグローバルおよびローカルビューよりも分散損失で訓練される。 LeVJEPAはV-JEPA 2とVT-S/B/Lの5.6から20.8倍の速さで一致または超える。
  論文  参考訳（メタデータ） (2026-08-27T17:26:24Z)
• PIO-FVLM: Rethinking Training-Free Visual Token Reduction for VLM Acceleration from an Inference-Objective Perspective [59.24570811503256]
  本稿では,視覚モデル(VLM)における冗長な視覚トークンを減らし,推論を高速化するPIO-FVLMを提案する。 提案されているPIO-FVLMは、トレーニングフリーで、FlashAttentionと互換性があり、実用的なアプリケーションやデプロイメントに親しみやすい。 LLaVA-Next-7Bでは、PIO-FVLMは視覚トークンの11.1%しか保持していないが、オリジナルのパフォーマンスの97.2%を維持している。
  論文  参考訳（メタデータ） (2026-02-04T15:33:10Z)
• un$^2$CLIP: Improving CLIP's Visual Detail Capturing Ability via Inverting unCLIP [75.19266107565109]
  コントラスト言語-画像事前学習(CLIP)が基礎モデルとなり、様々なビジョンやマルチモーダルタスクに適用されている。 この作業は既存のCLIPモデルの改善に重点を置いており、可能な限り多くの画像の視覚的詳細をキャプチャすることを目的としている。
  論文  参考訳（メタデータ） (2025-05-30T12:29:38Z)
• Zoom-shot: Fast and Efficient Unsupervised Zero-Shot Transfer of CLIP to Vision Encoders with Multimodal Loss [31.924829670341]
  本稿では,CLIPのゼロショット機能を事前学習した視覚エンコーダに転送するZoom-shotを提案する。 私たちは、CLIP潜伏空間に存在するマルチモーダル情報(テキストと画像)を利用する。 Zoom-shotは完全に教師なしで、$textbfunpaired$データを使ってトレーニングされている。
  論文  参考訳（メタデータ） (2024-01-22T00:00:30Z)
• VadCLIP: Adapting Vision-Language Models for Weakly Supervised Video Anomaly Detection [58.47940430618352]
  弱教師付きビデオ異常検出(WSVAD)のための新しいパラダイムであるVadCLIPを提案する。 VadCLIPは、CLIPの強度に関する視覚と言語の間のきめ細かい関連をフル活用している。 本稿では,VadCLIPが粗粒度および細粒度 WSVAD の両面において最高の性能を発揮することを示す。
  論文  参考訳（メタデータ） (2023-08-22T14:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。