論文の概要: Bigger Text Encoders Can Hurt CLIP Zero-Shot Performance

• arxiv url: http://arxiv.org/abs/2609.05730v1
• Date: Fri, 04 Sep 2026 21:29:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.123648
• Title: Bigger Text Encoders Can Hurt CLIP Zero-Shot Performance
• Title（参考訳）: より大きなテキストエンコーダはCLIPゼロショットのパフォーマンスをハントできる
• Abstract要約: また,ほとんどの視覚エンコーダでは,ゼロショット性能が低下するテキストエンコーダサイズが最適であることを示す。 この動作を実行すると、標準のViT-B/16アーキテクチャのゼロショット性能と最大55%のパラメータで一致した効率的な構成が得られる。
• 参考スコア（独自算出の注目度）: 23.886374573928965
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive Language-Image Pretraining (CLIP) is a building block of many machine learning applications. Scaling laws have guided resource allocation for large-scale training, yet prior work treats total CLIP model size as a single variable, without exploring how the capacity split between encoders impacts downstream performance. Here, we train multiple CLIP models with different vision and text encoder sizes, revealing that for most vision encoders, there is an optimal text encoder size beyond which zero-shot performance degrades---even as total parameter count increases. Exploiting this behavior yields efficient configurations that match the zero-shot performance of the standard ViT-B/16 architecture with up to 55% fewer parameters. We further show that this degradation stems from overfitting induced by the oversized text encoder, and that using modality-specific weight decay coefficients not only recovers but improves performance across all degraded configurations. A geometric analysis reveals a trade-off in which scaling the text encoder improves embedding uniformity but worsens cross-modal alignment; we further show that these metrics are predictive of zero-shot performance. We hope these findings motivate CLIP architectures and training methods that counteract this degradation, a prerequisite for scaling CLIP reliably and efficiently.
• Abstract（参考訳）: Contrastive Language-Image Pretraining (CLIP)は多くの機械学習アプリケーションのビルディングブロックである。 スケール法則は、大規模なトレーニングのためのリソース割り当てをガイドしているが、以前の作業では、エンコーダ間でのキャパシティの分割が下流のパフォーマンスに与える影響を調査することなく、CLIPモデルのサイズを単一の変数として扱う。 ここでは、異なるビジョンとテキストエンコーダサイズで複数のCLIPモデルをトレーニングし、ほとんどの視覚エンコーダでは、ゼロショット性能が低下する最適なテキストエンコーダサイズが存在することを明らかにした。 この動作を実行すると、標準のViT-B/16アーキテクチャのゼロショット性能と最大55%のパラメータで一致した効率的な構成が得られる。 さらに、この劣化は、過大なテキストエンコーダによって引き起こされる過度な適合に起因することが示され、モダリティ比重減衰係数の使用は、回復するだけでなく、すべての劣化した構成における性能を向上させることが示されている。 幾何的解析により、テキストエンコーダのスケールが均一性を向上するが、モデム間のアライメントが悪化するトレードオフを明らかにし、これらの指標がゼロショット性能の予測可能であることを示す。 これらの知見がCLIPのアーキテクチャや,CLIPを確実にかつ効率的にスケーリングするための前提条件である,この劣化に対処するトレーニング手法を動機付けることを願っている。

関連論文リスト

• SuperCLIP: CLIP with Simple Classification Supervision [88.86549733903314]
  Contrastive Language-Image Pretrainingは、画像とテキストを共有埋め込み空間に整列させることにより、視覚言語タスクの強力な一般化を実現する。 近年,CLIP様モデルでは,テキスト中の微細なセマンティック信号が依然として使われていないことが報告されている。 分類に基づく教師付きコントラスト学習のフレームワークであるSuperCLIPを提案する。
  論文  参考訳（メタデータ） (2025-12-16T15:11:53Z)
• Data or Language Supervision: What Makes CLIP Better than DINO? [50.59472280781008]
  CLIPは高レベルのセマンティクスをキャプチャしますが、DINOは色やスタイルといった低レベルの機能に対してより応答性があります。 ビジョン言語モデルに統合されると、CLIPはテキスト集約的なタスクで優れ、DINOはビジョン中心のタスクで若干優れています。
  論文  参考訳（メタデータ） (2025-10-13T18:34:58Z)
• Robustness in Both Domains: CLIP Needs a Robust Text Encoder [55.348860778166426]
  LEAFはテキストドメインの効率の良い逆方向の微調整手法であり、大きなCLIPモデルにスケールできる。 我々のモデルは、ロバスト画像エンコーダによる視力性能を維持しながら、テキスト領域におけるゼロショット対角精度を著しく向上させる。 我々は,ロバストテキストエンコーダが直接最適化による埋め込みから入力テキストの再構築を容易にすることを示す。
  論文  参考訳（メタデータ） (2025-06-03T19:57:09Z)
• AmorLIP: Efficient Language-Image Pretraining via Amortization [52.533088120633785]
  Contrastive Language-Image Pretraining (CLIP) は、様々な下流のテキストイメージタスクにまたがる強力なゼロショット性能を示している。 軽量ニューラルネットワークによるコントラスト学習に関わる高価な計算を記憶する,効率的なCLIP事前学習フレームワークであるAmorLIPを提案する。
  論文  参考訳（メタデータ） (2025-05-25T05:30:37Z)
• Image Coding for Machines via Feature-Preserving Rate-Distortion Optimization [31.210700220124192]
  本研究では,与えられたタスク損失に対する圧縮の効果を低減させる手法として,特徴量間の距離を用いてレート歪み(RDO)を行う方法を示す。 我々は、ブロックベースのエンコーダを用いて歪み項を計算可能にするために、RDOの定式化を単純化する。 複数の特徴抽出器と下流ネットワークに変換されたHEVCを用いたシミュレーションでは、同じタスクの精度で最大で17%のビットレートのセーブが可能であることを示す。
  論文  参考訳（メタデータ） (2025-04-03T02:11:26Z)
• DiffCLIP: Differential Attention Meets CLIP [57.396578974401734]
  本稿では,CLIPアーキテクチャに差分アテンション機構を拡張する新しい視覚言語モデルであるDiffCLIPを提案する。 最小限の追加パラメータで、DiffCLIPは画像テキスト理解タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-03-09T14:04:09Z)
• CLIP's Visual Embedding Projector is a Few-shot Cornucopia [45.93202559299953]
  最適化のために'external'パラメータを追加することなく、数ショットのCLIP適応のための代替手法を導入する。 視覚の埋め込みプロジェクション行列を微調整するだけで、すべてのベースラインよりも優れたパフォーマンスが得られることが分かりました。 この単純なアプローチはProLIPと呼ばれ、11個の数ショットの分類ベンチマーク、数ショットのクロスデータセットエンコーダ転送、ドメインの一般化、ベース・ツー・ニューなクラス一般化に最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2024-10-07T17:59:59Z)
• Progressive Token Length Scaling in Transformer Encoders for Efficient Universal Segmentation [67.85309547416155]
  ユニバーサルセグメンテーションのための強力なアーキテクチャは、マルチスケールの画像特徴を符号化し、オブジェクトクエリをマスク予測にデコードするトランスフォーマーに依存している。 このようなモデルのスケーリングには効率性が優先されるため、最先端のMask2Formerでは、変換器エンコーダのみに計算の50%を使用しています。 これは、エンコーダ層ごとにすべてのバックボーン機能スケールのトークンレベルの完全な表現が保持されているためである。
  論文  参考訳（メタデータ） (2024-04-23T01:34:20Z)
• Extreme Encoder Output Frame Rate Reduction: Improving Computational Latencies of Large End-to-End Models [59.57732929473519]
  エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。 入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
  論文  参考訳（メタデータ） (2024-02-27T03:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。