論文の概要: Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions

• arxiv url: http://arxiv.org/abs/2509.19203v1
• Date: Tue, 23 Sep 2025 16:22:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.946524
• Title: Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions
• Title（参考訳）: 視覚のない検索: テキストシーン記述によるマルチモーダル検索の再考
• Authors: Ioanna Ntinou, Alexandros Xenos, Yassine Ouali, Adrian Bulat, Georgios Tzimiropoulos,
• Abstract要約: 視覚言語モデルに対して,視覚のない単一エンコーダ検索パイプラインを導入する。 VLLM生成した構造化画像記述の助けを借りてテキストからテキストへ移行する。 提案手法は,複数検索および構成性ベンチマークにおいて,最先端のゼロショット性能を実現する。
• 参考スコア（独自算出の注目度）: 81.33113485830711
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastively-trained Vision-Language Models (VLMs), such as CLIP, have become the standard approach for learning discriminative vision-language representations. However, these models often exhibit shallow language understanding, manifesting bag-of-words behaviour. These limitations are reinforced by their dual-encoder design, which induces a modality gap. Additionally, the reliance on vast web-collected data corpora for training makes the process computationally expensive and introduces significant privacy concerns. To address these limitations, in this work, we challenge the necessity of vision encoders for retrieval tasks by introducing a vision-free, single-encoder retrieval pipeline. Departing from the traditional text-to-image retrieval paradigm, we migrate to a text-to-text paradigm with the assistance of VLLM-generated structured image descriptions. We demonstrate that this paradigm shift has significant advantages, including a substantial reduction of the modality gap, improved compositionality, and better performance on short and long caption queries, all attainable with only a few hours of calibration on two GPUs. Additionally, substituting raw images with textual descriptions introduces a more privacy-friendly alternative for retrieval. To further assess generalisation and address some of the shortcomings of prior compositionality benchmarks, we release two benchmarks derived from Flickr30k and COCO, containing diverse compositional queries made of short captions, which we coin subFlickr and subCOCO. Our vision-free retriever matches and often surpasses traditional multimodal models. Importantly, our approach achieves state-of-the-art zero-shot performance on multiple retrieval and compositionality benchmarks, with models as small as 0.3B parameters. Code is available at: https://github.com/IoannaNti/LexiCLIP
• Abstract（参考訳）: CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現を学習するための標準的なアプローチとなっている。 しかしながら、これらのモデルはしばしば浅い言語理解を示し、言葉の袋の振る舞いを示す。 これらの制限は双対エンコーダ設計によって強化され、モダリティギャップが生じる。 さらに、トレーニングのための膨大なWebコレクテッドデータコーパスへの依存により、このプロセスは計算コストが高くなり、重要なプライバシー上の懸念がもたらされる。 これらの制約に対処するため、本研究では、視覚のない単一エンコーダ検索パイプラインを導入することで、検索タスクのための視覚エンコーダの必要性に挑戦する。 従来のテキスト・ツー・イメージ検索パラダイムとは別に、VLLMの生成した構造化画像記述の助けを借りて、テキスト・ツー・テキスト・パラダイムに移行する。 このパラダイムシフトには、モダリティギャップの大幅な削減、構成性の向上、短いキャプションクエリと長いキャプションクエリのパフォーマンス向上など、大きなメリットがある。 さらに、テキスト記述による生画像の置換は、検索に対してよりプライバシーに優しい代替手段を導入する。 従来の構成性ベンチマークの欠点のいくつかを更に評価し、さらに対処するために、Flickr30k と COCO から派生した2つのベンチマークを公表した。 私たちのヴィジュアルフリーレトリバーは、従来のマルチモーダルモデルに匹敵する。 重要なこととして,本手法は複数の検索および構成性ベンチマークにおいて,0.3Bパラメータのモデルを用いて,最先端のゼロショット性能を実現する。 コードは、https://github.com/IoannaNti/LexiCLIPで入手できる。

関連論文リスト

• CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。 本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。 我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:50Z)
• A Chain-of-Thought Subspace Meta-Learning for Few-shot Image Captioning with Large Vision and Language Models [17.144311122664508]
  大規模データに事前訓練された大規模ビジョンと言語モデルは、視覚的および言語的先行性を符号化する。 画像記述の仕方を改善するための多段階画像キャプション手法として,チェーン・オブ・シント(CoT)メタラーニング手法を提案する。
  論文  参考訳（メタデータ） (2025-02-19T18:35:43Z)
• Towards Text-Image Interleaved Retrieval [49.96332254241075]
  テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。 我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。 異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
  論文  参考訳（メタデータ） (2025-02-18T12:00:47Z)
• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• Advancing Myopia To Holism: Fully Contrastive Language-Image Pre-training [30.071860810401933]
  本稿では,対照的な言語イメージ事前学習(CLIP)を1つの新しい包括的パラダイムに発展させる。 画像からテキストへのキャプションを用いて、複数の視点、粒度、階層から各画像のマルチテキストを生成する。 私たちの総合的なCLIPは、画像テキスト検索、オープン語彙分類、濃密な視覚タスクなど、既存のCLIPよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-11-30T11:27:58Z)
• MVAM: Multi-View Attention Method for Fine-grained Image-Text Matching [65.87255122130188]
  画像テキストマッチングのためのMVAM(Multi-view Attention Method)を提案する。 また、入力データの異なる側面に注目するよう注意を喚起する目的も取り入れている。 提案手法により,異なる視点から画像やテキストをエンコードし,より重要な詳細に焦点を合わせることが可能となり,マッチング性能が向上する。
  論文  参考訳（メタデータ） (2024-02-27T06:11:54Z)
• Fine-tuning CLIP Text Encoders with Two-step Paraphrasing [83.3736789315201]
  パラフレーズに対するCLIPモデルの表現を強化するための簡単な微調整手法を提案する。 ParaCLIPと呼ばれる我々のモデルは、様々なタスクでベースラインCLIPモデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-02-23T06:11:50Z)
• LightCLIP: Learning Multi-Level Interaction for Lightweight Vision-Language Models [45.672539931681065]
  軽量CLIPモデルのトレーニングのためのマルチレベルインタラクションパラダイムを提案する。 マスク付きテキスト埋め込みに非マスク画像の埋め込みを注入する補助融合モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-01T15:54:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。