論文の概要: ResVG: Enhancing Relation and Semantic Understanding in Multiple Instances for Visual Grounding

• arxiv url: http://arxiv.org/abs/2408.16314v1
• Date: Thu, 29 Aug 2024 07:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 14:43:40.470591
• Title: ResVG: Enhancing Relation and Semantic Understanding in Multiple Instances for Visual Grounding
• Title（参考訳）: ResVG:視覚的接地のための複数のインスタンスにおける関係と意味理解の強化
• Authors: Minghang Zheng, Jiahua Zhang, Qingchao Chen, Yuxin Peng, Yang Liu,
• Abstract要約: ビジュアルグラウンドティングは、自然言語クエリに基づいて画像に参照されるオブジェクトをローカライズすることを目的としている。 既存の手法では、画像に複数の障害がある場合、大幅な性能低下を示す。 本稿では,Relation and Semantic-sensitive Visual Grounding (ResVG)モデルを提案する。
• 参考スコア（独自算出の注目度）: 42.10086029931937
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual grounding aims to localize the object referred to in an image based on a natural language query. Although progress has been made recently, accurately localizing target objects within multiple-instance distractions (multiple objects of the same category as the target) remains a significant challenge. Existing methods demonstrate a significant performance drop when there are multiple distractions in an image, indicating an insufficient understanding of the fine-grained semantics and spatial relationships between objects. In this paper, we propose a novel approach, the Relation and Semantic-sensitive Visual Grounding (ResVG) model, to address this issue. Firstly, we enhance the model's understanding of fine-grained semantics by injecting semantic prior information derived from text queries into the model. This is achieved by leveraging text-to-image generation models to produce images representing the semantic attributes of target objects described in queries. Secondly, we tackle the lack of training samples with multiple distractions by introducing a relation-sensitive data augmentation method. This method generates additional training data by synthesizing images containing multiple objects of the same category and pseudo queries based on their spatial relationships. The proposed ReSVG model significantly improves the model's ability to comprehend both object semantics and spatial relations, leading to enhanced performance in visual grounding tasks, particularly in scenarios with multiple-instance distractions. We conduct extensive experiments to validate the effectiveness of our methods on five datasets. Code is available at https://github.com/minghangz/ResVG.
• Abstract（参考訳）: ビジュアルグラウンドティングは、自然言語クエリに基づいて画像に参照されるオブジェクトをローカライズすることを目的としている。 近年では進展が進んでいるが、複数の物体(対象物と同じカテゴリの複数の物体)を正確に位置決めすることが大きな課題である。 既存の手法は、画像に複数の注意散らしがある場合、顕著な性能低下を示し、細粒度のセマンティクスとオブジェクト間の空間的関係の理解が不十分であることを示す。 本稿では,Relation and Semantic-sensitive Visual Grounding (ResVG)モデルを提案する。 まず,テキストクエリから得られたセマンティックな事前情報をモデルに注入することで,詳細なセマンティクスの理解を深める。 これは、テキスト・ツー・イメージ生成モデルを利用して、クエリで記述された対象オブジェクトの意味的属性を表す画像を生成する。 第2に,関係性に敏感なデータ拡張手法を導入することで,複数の注意を散らしたトレーニングサンプルの欠如に対処する。 同一カテゴリの複数のオブジェクトを含む画像と、それらの空間関係に基づいて擬似クエリを合成することにより、追加のトレーニングデータを生成する。 提案したReSVGモデルは、オブジェクトの意味論と空間関係の両方を理解する能力を大幅に向上させ、視覚的グラウンド化タスク、特にマルチインスタンス障害のあるシナリオにおけるパフォーマンスを向上させる。 5つのデータセット上で,提案手法の有効性を検証するため,広範囲な実験を行った。 コードはhttps://github.com/minghangz/ResVG.comで入手できる。

関連論文リスト

• Teaching VLMs to Localize Specific Objects from In-context Examples [56.797110842152]
  VLM(Vision-Language Models)は、様々な視覚タスクにまたがる顕著な能力を示す。 現在のVLMには基本的な認知能力がなく、コンテキストを考慮し、シーン内のオブジェクトをローカライズすることを学ぶ。 この研究は、VLMのパーソナライズされた数ショットのローカライゼーションを探索し、ベンチマークした初めてのものである。
  論文  参考訳（メタデータ） (2024-11-20T13:34:22Z)
• Improving Object Detection via Local-global Contrastive Learning [27.660633883387753]
  本稿では,クロスドメインオブジェクト検出を対象とする画像から画像への変換手法を提案する。 ローカル・グローバル情報と対比することでオブジェクトを表現することを学ぶ。 これにより、ドメインシフトの下で、パフォーマンス検出(Performant detection)の取得という、未調査の課題の調査が可能になる。
  論文  参考訳（メタデータ） (2024-10-07T14:18:32Z)
• Learning Visual Grounding from Generative Vision and Language Model [29.2712567454021]
  ビジュアルグラウンドタスクは、自然言語参照に基づいて画像領域をローカライズすることを目的としている。 生成的VLMには基底知識がすでに存在しており、適切なプロンプトによって引き起こすことができる。 本研究は,実世界における視覚的接地を拡大するための生成型VLMの可能性を実証するものである。
  論文  参考訳（メタデータ） (2024-07-18T20:29:49Z)
• Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models [3.86170450233149]
  画像とテキストとのマッチングを訓練した大規模視覚言語モデル(VLM)では,空間的関係の微妙な理解が欠如していることが示されている。 本稿では,空間的節の認識とランク付けのための,よりきめ細かな構成的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-18T18:58:54Z)
• Unified Visual Relationship Detection with Vision and Language Models [89.77838890788638]
  この研究は、複数のデータセットからラベル空間の結合を予測する単一の視覚的関係検出器のトレーニングに焦点を当てている。 視覚と言語モデルを活用した統合視覚関係検出のための新しいボトムアップ手法UniVRDを提案する。 人物体間相互作用検出とシーングラフ生成の双方による実験結果から,本モデルの競合性能が示された。
  論文  参考訳（メタデータ） (2023-03-16T00:06:28Z)
• SemAug: Semantically Meaningful Image Augmentations for Object Detection Through Language Grounding [5.715548995729382]
  本研究では,シーンに文脈的に意味のある知識を注入することで,画像強調のための効果的な手法を提案する。 本手法は,意味的に適切な新しいオブジェクトを抽出することから,言語接地によるオブジェクト検出のための意味的意味的画像強調法であるSemAugを出発点とする。
  論文  参考訳（メタデータ） (2022-08-15T19:00:56Z)
• Salient Objects in Clutter [130.63976772770368]
  本稿では,既存の正当性オブジェクト検出(SOD)データセットの重大な設計バイアスを特定し,対処する。 この設計バイアスは、既存のデータセットで評価した場合、最先端のSODモデルのパフォーマンスの飽和につながった。 我々は,新しい高品質データセットを提案し,前回のsaliencyベンチマークを更新する。
  論文  参考訳（メタデータ） (2021-05-07T03:49:26Z)
• Object-Centric Image Generation from Layouts [93.10217725729468]
  複数のオブジェクトを持つ複雑なシーンを生成するレイアウト・ツー・イメージ生成法を開発した。 本手法は,シーン内のオブジェクト間の空間的関係の表現を学習し,レイアウトの忠実度の向上につながる。 本稿では,Fr'echet Inception Distanceのオブジェクト中心適応であるSceneFIDを紹介する。
  論文  参考訳（メタデータ） (2020-03-16T21:40:09Z)
• Expressing Objects just like Words: Recurrent Visual Embedding for Image-Text Matching [102.62343739435289]
  既存の画像テキストマッチングアプローチは、テキストと画像の各独立オブジェクト間の親和性をキャプチャして集約することにより、画像テキストペアの類似性を推測する。 本稿では,リカレントニューラルネットワーク(RNN)を用いて画像と文を対称に処理するDual Path Recurrent Neural Network (DP-RNN)を提案する。 我々のモデルはFlickr30Kデータセットの最先端性能とMS-COCOデータセットの競合性能を達成する。
  論文  参考訳（メタデータ） (2020-02-20T00:51:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。