論文の概要: OV-VG: A Benchmark for Open-Vocabulary Visual Grounding

• arxiv url: http://arxiv.org/abs/2310.14374v1
• Date: Sun, 22 Oct 2023 17:54:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 00:10:43.549746
• Title: OV-VG: A Benchmark for Open-Vocabulary Visual Grounding
• Title（参考訳）: OV-VG:Open-Vocabulary Visual Groundingのベンチマーク
• Authors: Chunlei Wang, Wenquan Feng, Xiangtai Li, Guangliang Cheng, Shuchang Lyu, Binghao Liu, Lijiang Chen and Qi Zhao
• Abstract要約: この研究は、新規で挑戦的なオープンボキャブラリ視覚タスクを導入している。 包括的な目的は、言語記述と新しいオブジェクトのローカライゼーションの関連を確立することである。 我々は、7,272 OV-VG画像と1,000 OV-PL画像を含むベンチマークをキュレートした。
• 参考スコア（独自算出の注目度）: 33.02137080950678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary learning has emerged as a cutting-edge research area, particularly in light of the widespread adoption of vision-based foundational models. Its primary objective is to comprehend novel concepts that are not encompassed within a predefined vocabulary. One key facet of this endeavor is Visual Grounding, which entails locating a specific region within an image based on a corresponding language description. While current foundational models excel at various visual language tasks, there's a noticeable absence of models specifically tailored for open-vocabulary visual grounding. This research endeavor introduces novel and challenging OV tasks, namely Open-Vocabulary Visual Grounding and Open-Vocabulary Phrase Localization. The overarching aim is to establish connections between language descriptions and the localization of novel objects. To facilitate this, we have curated a comprehensive annotated benchmark, encompassing 7,272 OV-VG images and 1,000 OV-PL images. In our pursuit of addressing these challenges, we delved into various baseline methodologies rooted in existing open-vocabulary object detection, VG, and phrase localization frameworks. Surprisingly, we discovered that state-of-the-art methods often falter in diverse scenarios. Consequently, we developed a novel framework that integrates two critical components: Text-Image Query Selection and Language-Guided Feature Attention. These modules are designed to bolster the recognition of novel categories and enhance the alignment between visual and linguistic information. Extensive experiments demonstrate the efficacy of our proposed framework, which consistently attains SOTA performance across the OV-VG task. Additionally, ablation studies provide further evidence of the effectiveness of our innovative models. Codes and datasets will be made publicly available at https://github.com/cv516Buaa/OV-VG.
• Abstract（参考訳）: オープンボキャブラリー学習は最先端の研究分野として登場し、特に視覚ベースの基礎モデルが広く採用されている。 その主な目的は、定義済みの語彙に包含されない新しい概念を理解することである。 この取り組みの1つの重要な側面は視覚的な接地であり、対応する言語記述に基づいて画像内の特定の領域を特定することを伴う。 現在の基礎モデルは様々な視覚言語タスクに優れていますが、オープン語彙のビジュアルグラウンドに特化しているモデルはありません。 この研究は、新規で挑戦的なOVタスク、すなわちOpen-Vocabulary Visual GroundingとOpen-Vocabulary Phrase Localizationを導入している。 包括的な目的は、言語記述と新しいオブジェクトのローカライゼーションの関連を確立することである。 そこで我々は,7,272 OV-VG 画像と1,000 OV-PL 画像を含む包括的なアノテートベンチマークをキュレートした。 これらの課題に対処するために、既存のオープン語彙オブジェクト検出、VG、フレーズローカライゼーションフレームワークに根ざした様々なベースライン方法論を探索した。 驚いたことに、最先端の手法が様々なシナリオでしばしば失敗することを発見した。 その結果、テキスト画像クエリ選択と言語ガイド機能注意という、2つの重要なコンポーネントを統合する新しいフレームワークを開発した。 これらのモジュールは、新しいカテゴリの認識を促進し、視覚情報と言語情報の整合性を高めるように設計されている。 OV-VG タスク全体にわたってSOTA 性能を継続的に達成するフレームワークの有効性を示す。 さらに、アブレーション研究は、我々の革新的なモデルの有効性のさらなる証拠を提供する。 コードとデータセットはhttps://github.com/cv516Buaa/OV-VGで公開されている。

関連論文リスト

• Unlocking Textual and Visual Wisdom: Open-Vocabulary 3D Object Detection Enhanced by Comprehensive Guidance from Text and Image [70.02187124865627]
  Open-vocabulary 3D object detection (OV-3DDet) は、新しい3Dシーン内において、目に見えないものの両方をローカライズし、認識することを目的としている。 視覚基盤モデルを利用して、3Dシーンにおける新しいクラスを発見するための画像的ガイダンスを提供する。 オープン語彙の3Dオブジェクト検出における基礎モデルの可能性を明らかにするとともに,精度と一般化の大幅な向上を示す。
  論文  参考訳（メタデータ） (2024-07-07T04:50:04Z)
• Hyperbolic Learning with Synthetic Captions for Open-World Detection [26.77840603264043]
  本稿では,視覚言語モデル(VLM)から知識を伝達して,オープン語彙記述を自動的に強化することを提案する。 具体的には、予め訓練したVLMを用いて高濃度の合成キャプションをブートストラップし、画像の異なる領域について豊富な記述を提供する。 また,視覚とキャプションの埋め込みの階層構造を付加する,新しい双曲型視覚言語学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-07T17:06:22Z)
• LLMs Meet VLMs: Boost Open Vocabulary Object Detection with Fine-grained Descriptors [58.75140338866403]
  DVDetはディスクリプタ強化オープン語彙検出器である。 局所埋め込みをイメージライクな表現に変換することで、一般的なオープンな語彙検出トレーニングに直接統合することができる。 複数の大規模ベンチマークに対する大規模な実験により、DVDetは最先端技術よりも大きなマージンで一貫して優れていたことが示されている。
  論文  参考訳（メタデータ） (2024-02-07T07:26:49Z)
• VLLaVO: Mitigating Visual Gap through LLMs [7.352822795984628]
  クロスドメイン学習は、トレーニングとテストデータのドメインシフトを減らすために、ドメイン不変の知識を抽出することを目的としている。 視覚言語モデルと大規模言語モデルを組み合わせたVLLaVOを提案する。
  論文  参考訳（メタデータ） (2024-01-06T16:33:39Z)
• Lyrics: Boosting Fine-grained Language-Vision Alignment and Comprehension via Semantic-aware Visual Objects [11.117055725415446]
  LVLM(Large Vision Language Models)は、様々な視覚言語対話シナリオにおいて、印象的なゼロショット機能を示す。 きめ細かい視覚オブジェクト検出がないことは、画像の詳細を理解するのを妨げ、不可分な視覚幻覚や事実的誤りを引き起こす。 リリックス(Lyrics)は、視覚言語アライメントを微粒なクロスモーダル協調からブートストラップする、新しいマルチモーダル事前学習および微調整パラダイムである。
  論文  参考訳（メタデータ） (2023-12-08T09:02:45Z)
• Prompt Ensemble Self-training for Open-Vocabulary Domain Adaptation [45.02052030837188]
  我々は、新しい教師なしドメイン適応フレームワークであるオープン語彙ドメイン適応(OVDA)について研究する。 視覚と言語間の相乗効果を利用したPEST(Prompt Ensemble Self-Trening)技術の設計を行う。 PESTは、10の画像認識タスクで最先端のタスクを一貫して上回る。
  論文  参考訳（メタデータ） (2023-06-29T03:39:35Z)
• Towards Open Vocabulary Learning: A Survey [146.90188069113213]
  ディープニューラルネットワークは,セグメンテーションやトラッキング,検出といった,さまざまなコアタスクにおいて,目覚ましい進歩を遂げている。 近年、視覚言語事前学習の急速な進歩により、オープンな語彙設定が提案されている。 本稿では,その分野における最近の発展を要約し分析し,オープンな語彙学習の徹底的なレビューを行う。
  論文  参考訳（メタデータ） (2023-06-28T02:33:06Z)
• Contextual Object Detection with Multimodal Large Language Models [66.15566719178327]
  本稿では,コンテキストオブジェクト検出の新たな研究課題について紹介する。 言語クローゼテスト,視覚キャプション,質問応答の3つの代表的なシナリオについて検討した。 本稿では、視覚的コンテキストのエンドツーエンドの微分可能なモデリングが可能な統合マルチモーダルモデルContextDETを提案する。
  論文  参考訳（メタデータ） (2023-05-29T17:50:33Z)
• Learning Object-Language Alignments for Open-Vocabulary Object Detection [83.09560814244524]
  画像とテキストのペアデータから直接学習する新しいオープン語彙オブジェクト検出フレームワークを提案する。 これにより、画像とテキストのペア上でオープンな語彙オブジェクト検出器を、よりシンプルで効果的な方法で訓練することが可能になります。
  論文  参考訳（メタデータ） (2022-11-27T14:47:31Z)
• Multi-Grained Vision Language Pre-Training: Aligning Texts with Visual Concepts [14.808701042367401]
  物体検出は視覚言語による事前学習には適さないと考えられる。 本稿では,多粒度視覚言語事前学習を行うためのX-VLMという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-11-16T07:55:26Z)
• From Two to One: A New Scene Text Recognizer with Visual Language Modeling Network [70.47504933083218]
  本稿では,視覚情報と言語情報を結合として見る視覚言語モデリングネットワーク(VisionLAN)を提案する。 VisionLANは39%のスピード向上を実現し、正確な認識のための視覚的特徴を高めるために言語情報を適応的に検討する。
  論文  参考訳（メタデータ） (2021-08-22T07:56:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。