論文の概要: Visual-Text Cross Alignment: Refining the Similarity Score in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2406.02915v1
• Date: Wed, 5 Jun 2024 04:08:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 22:05:49.114434
• Title: Visual-Text Cross Alignment: Refining the Similarity Score in Vision-Language Models
• Title（参考訳）: 視覚テキストのクロスアライメント:視覚言語モデルにおける類似点の精査
• Authors: Jinhao Li, Haopeng Li, Sarah Erfani, Lei Feng, James Bailey, Feng Liu,
• Abstract要約: 近年、CLIP(CLIP)のような事前訓練された視覚言語モデル(VLM)を用いて、クエリイメージ全体をより細かいテキスト記述と整合させることで、ゼロショットのパフォーマンスを著しく向上させることが発見されている。 本稿では, より詳細な記述は, 画像全体よりも, クエリ画像の局所的な領域とより効果的に整合する傾向があることを実証的に見出した。
• 参考スコア（独自算出の注目度）: 21.17975741743583
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: It has recently been discovered that using a pre-trained vision-language model (VLM), e.g., CLIP, to align a whole query image with several finer text descriptions generated by a large language model can significantly enhance zero-shot performance. However, in this paper, we empirically find that the finer descriptions tend to align more effectively with local areas of the query image rather than the whole image, and then we theoretically validate this finding. Thus, we present a method called weighted visual-text cross alignment (WCA). This method begins with a localized visual prompting technique, designed to identify local visual areas within the query image. The local visual areas are then cross-aligned with the finer descriptions by creating a similarity matrix using the pre-trained VLM. To determine how well a query image aligns with each category, we develop a score function based on the weighted similarities in this matrix. Extensive experiments demonstrate that our method significantly improves zero-shot performance across various datasets, achieving results that are even comparable to few-shot learning methods.
• Abstract（参考訳）: 近年,例えばCLIPなど,事前学習された視覚言語モデルを用いて,大規模言語モデルによって生成されたより微細なテキスト記述とクエリイメージ全体を整合させることで,ゼロショット性能を大幅に向上させることが判明している。 しかし,本論文では,画像全体よりもクエリ画像の局所的な領域に,より詳細な記述がより効果的に適合する傾向があることを実証的に確認し,理論的に検証する。 そこで本研究では,重み付きビジュアルテキスト・クロスアライメント(WCA)という手法を提案する。 この方法は、クエリ画像内の局所的な視覚領域を特定するために設計された、局所的な視覚的プロンプト技術から始まる。 局所的な視覚領域は、事前訓練されたVLMを用いて類似度行列を作成することにより、より微細な記述と交差する。 問合せ画像が各カテゴリとどの程度よく一致しているかを判断するために,この行列の重み付き類似度に基づいてスコア関数を開発する。 大規模な実験により,本手法は各種データセット間のゼロショット性能を著しく向上し,少数ショット学習手法に匹敵する結果が得られることが示された。

関連論文リスト

• Grounding Descriptions in Images informs Zero-Shot Visual Recognition [47.66166611138081]
  我々は,表現を細かなレベルと粗いレベルの両方で同時に調整することを目的とした,新しい事前学習戦略であるGRAINを提案する。 我々は,現在の最先端技術と比較して,モデルのゼロショット性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-05T18:52:00Z)
• FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
  FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。 実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-04T18:56:04Z)
• Improving fine-grained understanding in image-text pre-training [37.163228122323865]
  SPARse Fine-fine Contrastive Alignment (SPARC) は、画像とテキストのペアからよりきめ細かなマルチモーダル表現を事前学習する簡単な方法である。 粗い情報に依存した画像レベルのタスクに対して、競合するアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-18T10:28:45Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• GIST: Generating Image-Specific Text for Fine-grained Object Classification [8.118079247462425]
  GISTは、画像のみのデータセットから、画像固有のきめ細かいテキスト記述を生成する方法である。 提案手法は,CLIP線形プローブよりも平均4.1%の精度向上を実現している。
  論文  参考訳（メタデータ） (2023-07-21T02:47:18Z)
• RegionCLIP: Region-based Language-Image Pretraining [94.29924084715316]
  画像テキストペアを用いたコントラスト言語画像事前学習(CLIP)は,画像分類において顕著な結果を得た。 そこで我々は,CLIPを拡張して領域レベルの視覚表現を学習するRegionalCLIPという手法を提案する。 提案手法は,COCOデータセットとLVISデータセットの新たなカテゴリに対して,3.8 AP50と2.2 APの精度を著しく向上させる。
  論文  参考訳（メタデータ） (2021-12-16T18:39:36Z)
• Exploiting the relationship between visual and textual features in social networks for image classification with zero-shot deep learning [0.0]
  本稿では,CLIPニューラルネットワークアーキテクチャの伝達可能な学習能力に基づく分類器アンサンブルを提案する。 本研究は,Placesデータセットのラベルによる画像分類タスクに基づいて,視覚的部分のみを考慮した実験である。 画像に関連付けられたテキストを考えることは、目標に応じて精度を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2021-07-08T10:54:59Z)
• Seed the Views: Hierarchical Semantic Alignment for Contrastive Representation Learning [116.91819311885166]
  一つの画像から生成されたビューをtextbfCross-samples や Multi-level representation に拡張することで,階層的なセマンティックアライメント戦略を提案する。 提案手法はCsMlと呼ばれ,サンプル間の多層視覚表現を堅牢な方法で統合する機能を備えている。
  論文  参考訳（メタデータ） (2020-12-04T17:26:24Z)
• Region Comparison Network for Interpretable Few-shot Image Classification [97.97902360117368]
  新しいクラスのモデルをトレーニングするために、ラベル付きサンプルの限られた数だけを効果的に活用するための画像分類が提案されている。 本研究では,領域比較ネットワーク (RCN) と呼ばれる距離学習に基づく手法を提案する。 また,タスクのレベルからカテゴリへの解釈可能性の一般化も提案する。
  論文  参考訳（メタデータ） (2020-09-08T07:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。