論文の概要: ERCLIP: Small-Data Adaptation of CLIP for Free-Length Image-Text Retrieval

• arxiv url: http://arxiv.org/abs/2610.29939v1
• Date: Wed, 21 Oct 2026 16:09:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.401522
• Title: ERCLIP: Small-Data Adaptation of CLIP for Free-Length Image-Text Retrieval
• Title（参考訳）: ERCLIP:自由長画像テキスト検索のためのCLIPの小さなデータ適応
• Abstract要約: ERCLIPは長大画像検索のためのCLIPの小さなデータ適応である。 テストキャプションは77の窓から読み取られており、フルキャプションを見るのはトレーニングのみである。 ERCLIPはCLIPのゼロショット分類を損なうが、ほとんどの場合、融合出力はCLIPの埋め込みと組み合わせていない。
• 参考スコア（独自算出の注目度）: 3.6723140587841656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CLIP's 77-token text encoder truncates detailed image descriptions. We present ERCLIP, a small-data adaptation of CLIP for long-caption image--text retrieval. During training, a long caption is split into sentences that the CLIP text encoder encodes independently; the sentence embeddings are fused by mean pooling or a gated residual Transformer scorer and receive their own contrastive loss. At inference ERCLIP is an unmodified CLIP dual encoder: test captions are still read through the 77-token window, and only training sees the full caption. We find that this fine-tuning erodes CLIP's zero-shot classification, most when the fusion output is not a combination of CLIP embeddings, and add a frozen-CLIP preservation loss on the image and short-caption embeddings. With 20k pairs and one epoch, ERCLIP improves long-caption R@1 over CLIP by 6.5--11.2 points, closing 62--77% of the gap to LongCLIP with 2% of its long captions. Preservation recovers 1.5--2.1 ImageNet zero-shot points (30--42% of the loss) and adds up to 2.4 points of COCO image-to-text R@1, at no inference cost.
• Abstract（参考訳）: CLIPの77tokenテキストエンコーダは、詳細な画像記述をトランケートする。 長大画像検索のためのCLIPの小型データ適応であるERCLIPを提案する。 トレーニング中、長文キャプションをCLIPテキストエンコーダが独立して符号化する文に分割し、文章埋め込みは平均プーリングまたはゲート残留トランスフォーマースコアラーによって融合され、それぞれコントラスト損失を受ける。 ERCLIPは修正されていないCLIPデュアルエンコーダで、テストキャプションは77のウィンドウから読み取られ、トレーニングだけがフルキャプションを見る。 この微調整により、CLIPのゼロショット分類、特に融合出力がCLIPの埋め込みと組み合わせていない場合、画像とショートキャプションの埋め込みに凍結したCLIP保存損失を加えることが判明した。 20kペアと1エポックでは、ERCLIPはCLIP上のR@1を6.5--11.2ポイント改善し、長いキャプションの2%でLongCLIPとのギャップの62--77%を閉じた。 保存は1.5--2.1 ImageNetゼロショットポイント(損失の30-42%)を回復し、推論コストなしで最大2.4ポイントのCOCOイメージ・トゥ・テキストR@1を加算する。

関連論文リスト

• un$^2$CLIP: Improving CLIP's Visual Detail Capturing Ability via Inverting unCLIP [75.19266107565109]
  コントラスト言語-画像事前学習(CLIP)が基礎モデルとなり、様々なビジョンやマルチモーダルタスクに適用されている。 この作業は既存のCLIPモデルの改善に重点を置いており、可能な限り多くの画像の視覚的詳細をキャプチャすることを目的としている。
  論文  参考訳（メタデータ） (2025-05-30T12:29:38Z)
• Distill CLIP (DCLIP): Enhancing Image-Text Retrieval via Cross-Modal Transformer Distillation [4.063715077687089]
  Distill CLIP (DCLIP) はCLIPモデルの微調整版である。 オリジナルのモデルの強力なゼロショット分類機能を保ちながら、マルチモーダルな画像テキスト検索を強化する。
  論文  参考訳（メタデータ） (2025-05-25T07:08:07Z)
• Long-CLIP: Unlocking the Long-Text Capability of CLIP [47.13547303843929]
  Long-CLIPはContrastive Language-Image Pre-trainingに代わるプラグインとプレイである。 Long-CLIPは、長文入力をサポートし、ゼロショットの一般化性を維持または超える。 CLIPをプラグイン・アンド・プレイで置き換えることで、詳細なテキスト記述から画像を生成する機能が強化されている。
  論文  参考訳（メタデータ） (2024-03-22T17:58:16Z)
• Improving CLIP Training with Language Rewrites [57.935517901210225]
  言語書き換えによるCLIPトレーニングを強化するために,Language augmented CLIP (LaCLIP)を導入した。 また,LaCLIPは,学習中に計算やメモリオーバーヘッドを伴わずに転送性能を大幅に向上することを示した。 ImageNetゼロショット精度では、LaCLIPはCC12MでCLIPを8.2%、LAION-400Mで2.4%上回る。
  論文  参考訳（メタデータ） (2023-05-31T17:59:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。