論文の概要: SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding

• arxiv url: http://arxiv.org/abs/2407.03200v2
• Date: Sat, 6 Jul 2024 15:18:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 10:41:17.915373
• Title: SegVG: Transferring Object Bounding Box to Segmentation for Visual Grounding
• Title（参考訳）: SegVG:ビジュアルグラウンドのためのオブジェクト境界ボックスをセグメンテーションに転送する
• Authors: Weitai Kang, Gaowen Liu, Mubarak Shah, Yan Yan,
• Abstract要約: ボックスレベルのアノテーションを信号として転送する新しい手法であるSegVGを提案する。 このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。
• 参考スコア（独自算出の注目度）: 56.079013202051094
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Different from Object Detection, Visual Grounding deals with detecting a bounding box for each text-image pair. This one box for each text-image data provides sparse supervision signals. Although previous works achieve impressive results, their passive utilization of annotation, i.e. the sole use of the box annotation as regression ground truth, results in a suboptimal performance. In this paper, we present SegVG, a novel method transfers the box-level annotation as Segmentation signals to provide an additional pixel-level supervision for Visual Grounding. Specifically, we propose the Multi-layer Multi-task Encoder-Decoder as the target grounding stage, where we learn a regression query and multiple segmentation queries to ground the target by regression and segmentation of the box in each decoding layer, respectively. This approach allows us to iteratively exploit the annotation as signals for both box-level regression and pixel-level segmentation. Moreover, as the backbones are typically initialized by pretrained parameters learned from unimodal tasks and the queries for both regression and segmentation are static learnable embeddings, a domain discrepancy remains among these three types of features, which impairs subsequent target grounding. To mitigate this discrepancy, we introduce the Triple Alignment module, where the query, text, and vision tokens are triangularly updated to share the same space by triple attention mechanism. Extensive experiments on five widely used datasets validate our state-of-the-art (SOTA) performance.
• Abstract（参考訳）: Object Detectionとは異なり、Visual Groundingは各テキストイメージペアのバウンディングボックスを検出する。 各テキストイメージデータに対する1つのボックスは、疎い監視信号を提供する。 従来の研究は印象的な結果を得たが、そのパッシブなアノテーションの利用、すなわち回帰基底真理としてのボックスアノテーションの唯一の使用は、準最適性能をもたらす。 本稿では,ボックスレベルのアノテーションをセグメンテーション信号として転送する新しい手法であるSegVGについて述べる。 具体的には,マルチレイヤのマルチタスク・エンコーダ・デコーダをターゲットグラウンドとして提案し,各デコード層におけるボックスの回帰とセグメント化によってターゲットをグラウンド化する回帰クエリと多重セグメンテーションクエリを学習する。 このアプローチでは,ボックスレベルのレグレッションとピクセルレベルのセグメンテーションの両方の信号としてアノテーションを反復的に利用することができる。 さらに、バックボーンは通常、単調なタスクから学習した事前訓練されたパラメータによって初期化され、回帰とセグメンテーションの両方のクエリは静的に学習可能な埋め込みである。 この相違を緩和するために、三重注意機構によって同じ空間を共有するために、クエリ、テキスト、ビジョントークンを三角形に更新するトリプルアライメントモジュールを導入する。 広く使われている5つのデータセットに対する大規模な実験は、私たちの最先端(SOTA)のパフォーマンスを検証する。

関連論文リスト

• A Lightweight Clustering Framework for Unsupervised Semantic Segmentation [28.907274978550493]
  教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。 教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。 本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:33:42Z)
• Multi-label affordance mapping from egocentric vision [3.683202928838613]
  本稿では, 精度の高い多ラベルセグメンテーションを実現するために, 空き感に対する新しいアプローチを提案する。 我々の手法は、ファースト・パーソン・ビデオから空き地を自動的に抽出するために利用できる。 相互作用ホットスポットのマップを構築するために、メトリック表現をどのように活用できるかを示します。
  論文  参考訳（メタデータ） (2023-09-05T10:56:23Z)
• MIANet: Aggregating Unbiased Instance and General Information for Few-Shot Semantic Segmentation [6.053853367809978]
  既存の少数ショットセグメンテーション手法はメタラーニング戦略に基づいて,サポートセットからインスタンス知識を抽出する。 本稿では,多情報集約ネットワーク(MIANet)を提案する。 PASCAL-5iとCOCO-20iの実験により、MIANetは優れた性能を示し、新しい最先端技術を確立した。
  論文  参考訳（メタデータ） (2023-05-23T09:36:27Z)
• A Simple Framework for Open-Vocabulary Segmentation and Detection [85.21641508535679]
  我々は,異なるセグメンテーションと検出データセットから共同で学習する,シンプルなオープン語彙検出フレームワークOpenSeeDを提案する。 まず、事前学習されたテキストエンコーダを導入し、視覚概念を2つのタスクにエンコードし、それらの共通意味空間を学習する。 プレトレーニング後,本モデルでは,セグメンテーションと検出の両方において,競争力あるいは強いゼロショット転送性を示す。
  論文  参考訳（メタデータ） (2023-03-14T17:58:34Z)
• Tag-Based Attention Guided Bottom-Up Approach for Video Instance Segmentation [83.13610762450703]
  ビデオインスタンスは、ビデオシーケンス全体にわたるオブジェクトインスタンスのセグメンテーションと追跡を扱う、基本的なコンピュータビジョンタスクである。 そこで本研究では,従来の領域プロモーター方式ではなく,画素レベルの粒度でインスタンスマスク予測を実現するための,単純なエンドツーエンドのボトムアップ方式を提案する。 提案手法は,YouTube-VIS と DAVIS-19 のデータセット上での競合結果を提供する。
  論文  参考訳（メタデータ） (2022-04-22T15:32:46Z)
• Prototypical Cross-Attention Networks for Multiple Object Tracking and Segmentation [95.74244714914052]
  複数のオブジェクトのトラッキングとセグメンテーションには、与えられたクラスのセットに属するオブジェクトを検出し、追跡し、セグメンテーションする必要がある。 オンライン上でリッチ・テンポラル情報を活用するプロトタイプ・クロス・アテンション・ネットワーク(PCAN)を提案する。 PCANは、Youtube-VISとBDD100Kデータセットで、現在のビデオインスタンス追跡とセグメンテーションコンテストの勝者を上回っている。
  論文  参考訳（メタデータ） (2021-06-22T17:57:24Z)
• Target-Aware Object Discovery and Association for Unsupervised Video Multi-Object Segmentation [79.6596425920849]
  本稿では,教師なしビデオマルチオブジェクトセグメンテーションの課題について述べる。 より正確で効率的な時間区分のための新しいアプローチを紹介します。 DAVIS$_17$とYouTube-VISに対する提案手法を評価した結果,セグメント化精度と推論速度の両方において最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2021-04-10T14:39:44Z)
• SOLD2: Self-supervised Occlusion-aware Line Description and Detection [95.8719432775724]
  単一深層ネットワークにおける回線セグメントの最初の共同検出と記述について紹介します。 我々の手法は注釈付き行ラベルを必要としないため、任意のデータセットに一般化することができる。 複数のマルチビューデータセットにおいて,従来の行検出と記述方法に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-04-07T19:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。