論文の概要: GRES: Generalized Referring Expression Segmentation

• arxiv url: http://arxiv.org/abs/2306.00968v1
• Date: Thu, 1 Jun 2023 17:57:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-02 13:48:36.647175
• Title: GRES: Generalized Referring Expression Segmentation
• Title（参考訳）: GRES: 一般的な参照式セグメンテーション
• Authors: Chang Liu, Henghui Ding, Xudong Jiang
• Abstract要約: 一般化参照式(Generalized Referring Expression, GRES)と呼ばれる新しいベンチマークを導入する。 GRESは、任意の数のターゲットオブジェクトを参照することができる。 我々は,マルチターゲット,ノーターゲット,シングルターゲット表現を含むgRefCOCOと呼ばれる,最初の大規模GRESデータセットを構築した。
• 参考スコア（独自算出の注目度）: 32.12725360752345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring Expression Segmentation (RES) aims to generate a segmentation mask for the object described by a given language expression. Existing classic RES datasets and methods commonly support single-target expressions only, i.e., one expression refers to one target object. Multi-target and no-target expressions are not considered. This limits the usage of RES in practice. In this paper, we introduce a new benchmark called Generalized Referring Expression Segmentation (GRES), which extends the classic RES to allow expressions to refer to an arbitrary number of target objects. Towards this, we construct the first large-scale GRES dataset called gRefCOCO that contains multi-target, no-target, and single-target expressions. GRES and gRefCOCO are designed to be well-compatible with RES, facilitating extensive experiments to study the performance gap of the existing RES methods on the GRES task. In the experimental study, we find that one of the big challenges of GRES is complex relationship modeling. Based on this, we propose a region-based GRES baseline ReLA that adaptively divides the image into regions with sub-instance clues, and explicitly models the region-region and region-language dependencies. The proposed approach ReLA achieves new state-of-the-art performance on the both newly proposed GRES and classic RES tasks. The proposed gRefCOCO dataset and method are available at https://henghuiding.github.io/GRES.
• Abstract（参考訳）: reference expression segmentation (res) は、与えられた言語表現で記述されたオブジェクトのセグメンテーションマスクを生成することを目的としている。 既存の古典的なRESデータセットとメソッドは、単一のターゲット表現のみをサポートする。 マルチターゲットおよびノーターゲット表現は考慮されていない。 これは実際にはresの使用を制限する。 本稿では,表現が任意の数の対象オブジェクトを参照できるように,古典的なresを拡張した一般化参照式セグメンテーション(gres)と呼ばれる新しいベンチマークを提案する。 そこで我々は, マルチターゲット, ノーターゲット, シングルターゲット表現を含む, gRefCOCO と呼ばれる最初の大規模GRESデータセットを構築した。 GRESとgRefCOCOはRESとよく互換性があるように設計されており、GRESタスク上で既存のRESメソッドのパフォーマンスギャップを研究するための広範な実験を容易にする。 実験の結果,GRESの大きな課題の1つは複雑な関係モデリングであることがわかった。 そこで,本研究では,サブインスタンスの手がかりを持つ領域に適応的にイメージを分割し,地域言語依存と地域言語依存を明示的にモデル化する,地域ベースのgresベースラインrelaを提案する。 提案手法は,新しいGRESタスクと古典RESタスクの両方において,最先端のパフォーマンスを実現する。 提案されているgRefCOCOデータセットとメソッドはhttps://henghuiding.github.io/GRESで公開されている。

関連論文リスト

• CoHD: A Counting-Aware Hierarchical Decoding Framework for Generalized Referring Expression Segmentation [37.96005100341482]
  Generalized Referring Expression (GRES)は、複雑な多重/非ターゲットシナリオを含むことによって、古典的なRESの定式化を増幅する。 近年のアプローチでは、オブジェクト指向の識別により、よく認識されたRESフレームワークを直接拡張することで、GRESに対処している。 GRESのための textbfCounting-Aware textbfHierarchical textbfDecoding framework (CoHD) を提案する。
  論文  参考訳（メタデータ） (2024-05-24T15:53:59Z)
• Bring Adaptive Binding Prototypes to Generalized Referring Expression Segmentation [18.806738617249426]
  Generalized Referring Expressionは、複数のオブジェクトを記述したり、特定のオブジェクト参照を欠いたりすることで、新しい課題を導入する。 既存のRESメソッドは通常、洗練されたエンコーダデコーダと機能融合モジュールに依存している。 本稿では,適応結合型モデル (MABP) を提案する。
  論文  参考訳（メタデータ） (2024-05-24T03:07:38Z)
• GSVA: Generalized Segmentation via Multimodal Large Language Models [72.57095903188922]
  Generalized Referring Expression (GRES)は、従来のRESの範囲を拡張して、1つの式で複数のオブジェクトを参照したり、画像に存在しない空のターゲットを特定する。 セグメンテーションMLLMは、ユーザが特定のプロンプトで複数の主題を参照するケースを正しく扱えないため、現在のGRESの解決策は満足できないままである。 本稿では,このギャップに対処する汎用ビジョンアシスタント(GSVA)を提案する。
  論文  参考訳（メタデータ） (2023-12-15T02:54:31Z)
• Unveiling Parts Beyond Objects:Towards Finer-Granularity Referring Expression Segmentation [38.0788558329856]
  MRES-32Mは、32.2M以上の高品質のマスクとキャプションから構成される。 さらに、UniRESという名前のシンプルな強力なモデルは、統一されたオブジェクトレベルと部分レベルグラウンドタスクを達成するように設計されている。
  論文  参考訳（メタデータ） (2023-12-13T09:29:45Z)
• GREC: Generalized Referring Expression Comprehension [52.83101289813662]
  本研究は、GREC(Generalized Referring Expression)と呼ばれる新しいベンチマークを導入する。 このベンチマークは、任意の数のターゲットオブジェクトを記述する式を許可することで、古典的なRECを拡張している。 この目標を達成するため、私たちはgRefCOCOと呼ばれる最初の大規模GRECデータセットを構築しました。
  論文  参考訳（メタデータ） (2023-08-30T17:58:50Z)
• Advancing Referring Expression Segmentation Beyond Single Image [12.234097959235417]
  GRES(Group-wise Referring Expression)という,より現実的で一般的な設定を提案する。 GRESは関連する画像のコレクションに拡張され、記述されたオブジェクトが入力された画像のサブセットに存在するようになる。 与えられた表現によって記述された対象オブジェクトの完全なグループワイドアノテーションを含むGRD(Grouped Referring)という,精巧にコンパイルされたデータセットを紹介した。
  論文  参考訳（メタデータ） (2023-05-21T13:14:28Z)
• CLIP the Gap: A Single Domain Generalization Approach for Object Detection [60.20931827772482]
  単一ドメインの一般化(Single Domain Generalization)は、単一のソースドメイン上でモデルをトレーニングすることで、目に見えないターゲットドメインに一般化する問題に取り組む。 本稿では、事前学習された視覚言語モデルを用いて、テキストプロンプトを介して意味領域の概念を導入することを提案する。 本手法は,検出器のバックボーンから抽出した特徴に作用する意味的拡張戦略と,テキストに基づく分類損失によって実現される。
  論文  参考訳（メタデータ） (2023-01-13T12:01:18Z)
• Fully and Weakly Supervised Referring Expression Segmentation with End-to-End Learning [50.40482222266927]
  Referring Expression(RES)は、与えられた言語表現に従ってターゲットをローカライズし、セグメンテーションすることを目的としている。 そこで我々は,カーネル分割パイプラインを並列に構築し,より分離し,局所化とセグメント化のステップと相互作用する。 我々の手法は単純だが驚くほど効果的であり、完全に教師された設定と弱い設定において、従来の最先端のRES手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-17T08:29:33Z)
• Learning Non-target Knowledge for Few-shot Semantic Segmentation [160.69431034807437]
  本稿では,クエリ中のBG領域とDO領域を明示的にマイニングし,除去するための,NTRE(Non-Target Region Elimination)ネットワークという新しいフレームワークを提案する。 A BG Mining Module (BGMM) was proposed to extract the BG region through learning a general BG prototype。 クエリ機能からBGおよびDO情報を逐次フィルタリングするBG除去モジュールとDO除去モジュールを提案する。
  論文  参考訳（メタデータ） (2022-05-10T13:52:48Z)
• Locate then Segment: A Strong Pipeline for Referring Image Segmentation [73.19139431806853]
  参照画像セグメンテーションは、自然言語表現によって参照されるオブジェクトをセグメンテーションすることを目的とする。 従来の方法は、視覚言語機能を融合させ、最終的なセグメンテーションマスクを直接生成するための暗黙的および反復的な相互作用メカニズムの設計に焦点を当てています。 これらの問題に取り組むための「Then-Then-Segment」スキームを紹介します。 私たちのフレームワークはシンプルですが驚くほど効果的です。
  論文  参考訳（メタデータ） (2021-03-30T12:25:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。