論文の概要: Text-guided Zero-Shot Object Localization

• arxiv url: http://arxiv.org/abs/2411.11357v1
• Date: Mon, 18 Nov 2024 08:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:33:01.680684
• Title: Text-guided Zero-Shot Object Localization
• Title（参考訳）: テキスト誘導ゼロショット物体定位
• Authors: Jingjing Wang, Xinglin Piao, Zongzhi Gao, Bo Li, Yong Zhang, Baocai Yin,
• Abstract要約: 提案するフレームワークは,ラベル付きサンプルがない場合に,画像中の特定のオブジェクトを識別し,特定するための単語によってガイドすることができる。 実験結果から,提案手法は局所化性能を大幅に向上させることができることが示された。
• 参考スコア（独自算出の注目度）: 37.90350919486988
• License:
• Abstract: Object localization is a hot issue in computer vision area, which aims to identify and determine the precise location of specific objects from image or video. Most existing object localization methods heavily rely on extensive labeled data, which are costly to annotate and constrain their applicability. Therefore, we propose a new Zero-Shot Object Localization (ZSOL) framework for addressing the aforementioned challenges. In the proposed framework, we introduce the Contrastive Language Image Pre-training (CLIP) module which could integrate visual and linguistic information effectively. Furthermore, we design a Text Self-Similarity Matching (TSSM) module, which could improve the localization accuracy by enhancing the representation of text features extracted by CLIP module. Hence, the proposed framework can be guided by prompt words to identify and locate specific objects in an image in the absence of labeled samples. The results of extensive experiments demonstrate that the proposed method could improve the localization performance significantly and establishes an effective benchmark for further research.
• Abstract（参考訳）: オブジェクトのローカライゼーションはコンピュータビジョン領域におけるホットな問題であり、画像やビデオから特定のオブジェクトの正確な位置を特定し、決定することを目的としている。 既存のオブジェクトローカライゼーションメソッドの多くは、アノテートとアノテートにコストがかかる広範囲なラベル付きデータに大きく依存しています。 そこで本稿では,上記の課題に対処するZero-Shot Object Localization (ZSOL) フレームワークを提案する。 提案フレームワークでは,視覚情報と言語情報を効果的に統合できるCLIP(Contrastive Language Image Pre-training)モジュールを提案する。 さらに,テキスト自己相似マッチング(TSSM)モジュールを設計し,CLIPモジュールによって抽出されたテキスト特徴の表現を強化することにより,局所化精度を向上させる。 したがって、ラベル付きサンプルがない場合に、画像中の特定のオブジェクトを識別し、特定するよう促すことで、提案するフレームワークを導出することができる。 大規模な実験の結果,提案手法は局所化性能を著しく向上し,さらなる研究に有効なベンチマークを確立できることを示した。

関連論文リスト

• Contrastive Localized Language-Image Pre-Training [60.4967533101887]
  コントラスト言語-画像事前学習(CLIP)は、画像/テキスト表現を生成するために視覚エンコーダを訓練するための著名な方法である。 本稿では,CLIPとリージョンテキストのコントラッシブな損失とモジュールを補完することにより,CLOC(Contrastive Localized Language- Image Pre-Trening)を提案する。 CLOCは画像領域認識および検索タスクのための高品質な地域埋め込みを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T17:56:09Z)
• LOGO: Video Text Spotting with Language Collaboration and Glyph Perception Model [20.007650672107566]
  ビデオテキストスポッティング(VTS)は、ビデオ内のテキストインスタンスを同時にローカライズ、認識、追跡することを目的としている。 最近の方法では、最先端の画像テキストスポッターのゼロショット結果を直接追跡する。 特定のデータセット上の微調整トランスフォーマーベースのテキストスポッターにより、パフォーマンスが向上する可能性がある。
  論文  参考訳（メタデータ） (2024-05-29T15:35:09Z)
• CLIM: Contrastive Language-Image Mosaic for Region Representation [58.05870131126816]
  Contrastive Language-Image Mosaic (CLIM) は、領域とテキストの表現を整合させる新しいアプローチである。 CLIMは、異なるオープン語彙オブジェクト検出方法を一貫して改善する。 視覚言語モデルの領域表現を効果的に強化することができる。
  論文  参考訳（メタデータ） (2023-12-18T17:39:47Z)
• Bootstrap Fine-Grained Vision-Language Alignment for Unified Zero-Shot Anomaly Localization [63.61093388441298]
  対照的な言語-画像事前学習モデルは、ゼロショット視覚認識タスクで有望なパフォーマンスを示した。 本研究では,ゼロショット異常局所化のためのAnoCLIPを提案する。
  論文  参考訳（メタデータ） (2023-08-30T10:35:36Z)
• CiteTracker: Correlating Image and Text for Visual Tracking [114.48653709286629]
  我々は、画像とテキストを接続することで、視覚的トラッキングにおけるターゲットモデリングと推論を強化するCiteTrackerを提案する。 具体的には、ターゲット画像パッチを記述テキストに変換するテキスト生成モジュールを開発する。 次に、注目に基づく相関モジュールを用いて対象記述と検索画像を関連付け、対象状態参照のための相関特徴を生成する。
  論文  参考訳（メタデータ） (2023-08-22T09:53:12Z)
• RRSIS: Referring Remote Sensing Image Segmentation [25.538406069768662]
  リモートセンシング画像から所望のオブジェクトをローカライズすることは、実用的な用途において非常に有用である。 与えられた表現が参照する対象を分割することを目的とした画像分割の参照は、自然画像において広範囲に研究されている。 本稿では、このギャップを埋めるため、リモートセンシング画像セグメンテーション(RRSIS)を紹介し、洞察に富んだ探索を行う。
  論文  参考訳（メタデータ） (2023-06-14T16:40:19Z)
• Language Guided Local Infiltration for Interactive Image Retrieval [12.324893780690918]
  Interactive Image Retrieval (IIR) は、一般的に参照画像と似ているが、要求されたテキスト修正の下で画像を取得することを目的としている。 テキスト情報を完全に活用し,画像特徴にテキスト特徴を浸透させる言語ガイド型局所浸透システム(LGLI)を提案する。 我々の手法は、最先端のIIR手法よりも優れています。
  論文  参考訳（メタデータ） (2023-04-16T10:33:08Z)
• Semi-Supervised Cross-Modal Salient Object Detection with U-Structure Networks [18.12933868289846]
  言語情報を視覚に基づくU-Structureネットワークに組み込むことにより,適切な物体検出作業を実現する。 本稿では,視覚的特徴と言語的特徴を組み合わせるために,効率的なクロスモーダル自己認識(eCMSA)と呼ばれる新しいモジュールを提案する。 ラベル付けの負担を軽減するため,画像キャプションモデルをトレーニングし,半教師付き学習手法を用いた。
  論文  参考訳（メタデータ） (2022-08-08T18:39:37Z)
• Improving Visual Grounding with Visual-Linguistic Verification and Iterative Reasoning [42.29650807349636]
  正確な視覚的接地のためのトランスフォーマーベースのフレームワークを提案する。 テキスト記述に関連する領域に視覚的特徴を集中させる視覚言語検証モジュールを開発した。 言語誘導型特徴エンコーダは、対象オブジェクトの視覚的コンテキストを集約して、オブジェクトの特異性を改善するように設計されている。
  論文  参考訳（メタデータ） (2022-04-30T13:48:15Z)
• Spatial Likelihood Voting with Self-Knowledge Distillation for Weakly Supervised Object Detection [54.24966006457756]
  自己知識蒸留ネットワーク(SLV-SDネット)を用いたWSODフレームワークを提案する。 SLV-SD Netは、境界ボックスアノテーションなしで領域提案のローカライゼーションを収束させる。 PASCAL VOC 2007/2012およびMS-COCOデータセットの実験は、SLV-SD Netの優れた性能を示している。
  論文  参考訳（メタデータ） (2022-04-14T11:56:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。