論文の概要: A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval

• arxiv url: http://arxiv.org/abs/2608.05260v1
• Date: Wed, 05 Aug 2026 17:09:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.767545
• Title: A Paragraph is Worth a Thousand Captions: Rethinking Text Supervision for Vision-Language Retrieval
• Title（参考訳）: パラグラフは数千のキャプションの価値:視覚言語検索のためのテキストスーパービジョンを再考する
• Abstract要約: コントラッシブな画像テキスト検索のための単一字幕から多文節までの範囲の監督に関する体系的研究を行った。 Qwen2-VL と Llama 3.2 Vision をベースとした合成パイプラインを用いて,500K CC3M 画像に対して,多様なキャプション,強陰性,品質マーク付き段落を生成する。 段落教師付きモデルはShareGPT4V上でLong-CLIP-Lと一致し、画像からテキストへの検索においてDOCCIで14点以上向上した。
• 参考スコア（独自算出の注目度）: 3.213898015903824
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive vision-language models such as CLIP and BLIP are typically trained on short image captions, limiting their ability to retrieve images from detailed textual descriptions. While methods such as Long-CLIP extend the token limit through positional embedding interpolation, we ask a simpler question: does training text granularity alone determine long-text retrieval performance? We present a systematic study of supervision ranging from single captions to multi-sentence paragraphs for contrastive image-text retrieval. Using a synthetic pipeline based on Qwen2-VL and Llama 3.2 Vision, we generate diverse captions, hard negatives, and quality-scored paragraphs for 500K CC3M images. To isolate the effect of text granularity, we fine-tune only the BLIP text encoder while keeping the vision encoder frozen across 10 training configurations. Our paragraph-supervised models match Long-CLIP-L on ShareGPT4V and outperform it by more than 14 points on DOCCI for image-to-text retrieval, without architectural changes. We further show that paragraph supervision enables effective use of long token sequences, whereas caption-only training degrades beyond 60 tokens. Increasing caption diversity improves short-caption retrieval with diminishing returns, while paragraph supervision consistently benefits long-description benchmarks and hard negatives prove detrimental in text-only fine-tuning. Evaluations on Flickr30k, COCO, ShareGPT4V, and DOCCI provide a comprehensive analysis of the trade-offs between text granularity, retrieval direction, and description length.
• Abstract（参考訳）: CLIPやBLIPのような対照的な視覚言語モデルは、通常、短い画像キャプションで訓練され、詳細なテキスト記述から画像を取得する能力を制限する。 Long-CLIPのようなメソッドは、位置埋め込み補間によってトークン制限を拡張するが、より単純な質問に答える: テキストの粒度だけで長文検索性能は決定されるのか? コントラッシブな画像テキスト検索のための単一字幕から多文節までの範囲の監督に関する体系的研究を行った。 Qwen2-VL と Llama 3.2 Vision をベースとした合成パイプラインを用いて,500K CC3M 画像に対して,多様なキャプション,強陰性,品質マーク付き段落を生成する。 テキストの粒度の影響を分離するために、BLIPテキストエンコーダのみを微調整し、ビジョンエンコーダを10のトレーニング構成で凍結する。 ShareGPT4VのLong-CLIP-Lと照合し,DOCCIの14点以上を上回り,画像からテキストへの検索を行う。 さらに,長いトークンシーケンスを効果的に活用できるのに対して,キャプションのみのトレーニングは60トークンを超えていることを示す。 キャプションの多様性の増大は、リターンが低下するにつれて短いキャプション検索を改善する一方、項の監督は、長文のベンチマークを一貫して活用し、テキストのみの微調整では、有害であることを示す。 Flickr30k、COCO、ShareGPT4V、DOCCIの評価は、テキストの粒度、検索方向、記述長のトレードオフを包括的に分析する。

関連論文リスト

• TEVI: Text-Conditioned Editing of Visual Representations via Sparse Autoencoders for Improved Vision-Language Alignment [87.69757277913577]
  画像埋め込みから何を保持するかの信号としてキャプションを使用するフレームワークTEVIを提案する。 合成キャプションを用いた制御設定では,TEVIは,他のキャプションを廃棄しながら,キャプション記述属性の保存に有効であることを示す。
  論文  参考訳（メタデータ） (2026-06-05T16:54:40Z)
• CLIP Is Shortsighted: Paying Attention Beyond the First Sentence [13.197160495980318]
  トレーニング中に要約文を削除するDeBias-CLIPを導入し,全トークン位置を分散するために文サブサンプリングとテキストトークンパディングを適用した。 DeBias-CLIPは、最先端の長文検索を実現し、短文検索を改善し、文順置換に敏感でない。
  論文  参考訳（メタデータ） (2026-02-25T21:27:00Z)
• No Tokens Wasted: Leveraging Long Context in Biomedical Vision-Language Models [83.25473665239596]
  本稿では,全文記事のコンテキスト認識記述に富んだ1MイメージキャプチャーペアのデータセットであるBIOMEDICA-LongCAPを紹介する。 我々は,最大512個のトークンのウィンドウをサポートするテキストエンコーダを備えた長文バイオメディカルVLMであるBMC-LongCLIPを訓練する。 私たちのモデルはコンテキスト容量を6.6倍に拡張し、トークンの無駄を55%から2.2%に削減します。
  論文  参考訳（メタデータ） (2025-10-04T23:38:18Z)
• Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions [81.33113485830711]
  視覚言語モデルに対して,視覚のない単一エンコーダ検索パイプラインを導入する。 VLLM生成した構造化画像記述の助けを借りてテキストからテキストへ移行する。 提案手法は,複数検索および構成性ベンチマークにおいて,最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-09-23T16:22:27Z)
• FIX-CLIP: Dual-Branch Hierarchical Contrastive Learning via Synthetic Captions for Better Understanding of Long Text [13.888406804533535]
  3つの新しいモジュールを含むFIX-CLIPを提案する。 ショートテキストとロングテキストをそれぞれマスクと生画像で整列するデュアルブランチトレーニングパイプライン。 地域情報抽出のためのトランスフォーマー層における一方向マスクを用いた複数の学習可能な地域プロンプト
  論文  参考訳（メタデータ） (2025-07-14T09:31:34Z)
• FineLIP: Extending CLIP's Reach via Fine-Grained Alignment with Longer Text Inputs [0.351124620232225]
  FineLIPは textbfFine の粒度のアライメントと textbfLonger のテキスト入力を組み込むことで、クロスモーダルなテキストイメージマッピングを強化する。 FineLIPはまず、より長いテキストを扱うために位置埋め込みを拡張し、続いてローカル画像とテキストトークンの動的集約を行う。 我々は、ゼロショット・クロスモーダル検索とテキスト・ツー・イメージ生成という2つのタスクにまたがって、長い詳細なキャプションを持つデータセット上でモデルを検証した。
  論文  参考訳（メタデータ） (2025-04-02T17:19:59Z)
• LoTLIP: Improving Language-Image Pre-training for Long Text Understanding [71.04947115945349]
  データを長いキャプションで再現するが、それを直接学習することで、短い文章の理解においてパフォーマンスが低下する可能性がある。 そして、モデルが元の短いテキスト理解レベルに追いつくのを手助けしますが、長いテキスト理解の能力を大幅に向上させます。 本手法は,長文画像検索タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-07T17:52:56Z)
• Focus, Distinguish, and Prompt: Unleashing CLIP for Efficient and Flexible Scene Text Retrieval [13.315951821189538]
  シーンテキスト検索は、画像ギャラリーからクエリテキストを含むすべての画像を見つけることを目的としている。 現在の取り組みでは、複雑なテキスト検出および/または認識プロセスを必要とする光学文字認識(OCR)パイプラインを採用する傾向にある。 我々は,OCRのないシーンテキスト検索のためのCLIP(Contrastive Language- Image Pre-Trening)の本質的な可能性について検討する。
  論文  参考訳（メタデータ） (2024-08-01T10:25:14Z)
• Mining Fine-Grained Image-Text Alignment for Zero-Shot Captioning via Text-Only Training [14.340740609933437]
  そこで本研究では,モダリティギャップを低減するために,テキストのみのトレーニングを施したゼロショット画像キャプションフレームワークを提案する。 特に,地域情報を活用するためのサブリージョン機能アグリゲーションを導入する。 フレームワークを拡張してゼロショットのVQAパイプラインを構築し、その汎用性を実証します。
  論文  参考訳（メタデータ） (2024-01-04T16:43:46Z)
• Text encoders bottleneck compositionality in contrastive vision-language models [76.2406963762722]
  単一ベクトルのテキスト表現からキャプションを再構築することを目的としたテキストのみのリカバリプローブを訓練する。 CLIPのテキストエンコーダは、より構成的な入力では不十分であることがわかった。 結果は、テキストのみの回復性は、構成因子をモデル化するのに必要である(しかし十分ではない)ことを示唆している。
  論文  参考訳（メタデータ） (2023-05-24T08:48:44Z)
• Fine-grained Image Captioning with CLIP Reward [104.71533106301598]
  ウェブから大量の画像テキストペアをトレーニングしたマルチモーダルエンコーダであるCLIPを用いて、マルチモーダル類似性を計算し、報酬関数として利用する。 また、追加のテキストアノテーションを必要としない文法を改善するために、CLIPテキストエンコーダの簡単な微調整戦略を提案する。 テキスト・ツー・イメージ検索とFineCapEvalの実験において、提案したCLIP誘導モデルは、CIDEr最適化モデルよりも顕著なキャプションを生成する。
  論文  参考訳（メタデータ） (2022-05-26T02:46:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。