論文の概要: Contrastive Grouping with Transformer for Referring Image Segmentation

• arxiv url: http://arxiv.org/abs/2309.01017v1
• Date: Sat, 2 Sep 2023 20:53:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 23:49:33.456335
• Title: Contrastive Grouping with Transformer for Referring Image Segmentation
• Title（参考訳）: 画像分割参照用トランスを用いたコントラストグルーピング
• Authors: Jiajin Tang, Ge Zheng, Cheng Shi, Sibei Yang
• Abstract要約: 本稿では,Transformer Network (CGFormer) を用いたコントラストグルーピングというマスク分類フレームワークを提案する。 CGFormerはトークンベースのクエリとグルーピング戦略を通じて、オブジェクトレベルの情報を明示的にキャプチャする。 実験の結果,CGFormerはセグメンテーションと一般化の両設定において,最先端の手法よりも一貫して,大幅に優れていた。
• 参考スコア（独自算出の注目度）: 23.276636282894582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Referring image segmentation aims to segment the target referent in an image conditioning on a natural language expression. Existing one-stage methods employ per-pixel classification frameworks, which attempt straightforwardly to align vision and language at the pixel level, thus failing to capture critical object-level information. In this paper, we propose a mask classification framework, Contrastive Grouping with Transformer network (CGFormer), which explicitly captures object-level information via token-based querying and grouping strategy. Specifically, CGFormer first introduces learnable query tokens to represent objects and then alternately queries linguistic features and groups visual features into the query tokens for object-aware cross-modal reasoning. In addition, CGFormer achieves cross-level interaction by jointly updating the query tokens and decoding masks in every two consecutive layers. Finally, CGFormer cooperates contrastive learning to the grouping strategy to identify the token and its mask corresponding to the referent. Experimental results demonstrate that CGFormer outperforms state-of-the-art methods in both segmentation and generalization settings consistently and significantly.
• Abstract（参考訳）: 参照画像セグメント化は、自然言語表現に基づく画像条件付けにおいて、ターゲット参照をセグメント化することを目的としている。 既存の1段階の方法はピクセル単位の分類フレームワークを採用しており、視覚と言語をピクセルレベルで直接調整しようとするため、重要なオブジェクトレベルの情報をキャプチャできない。 本稿では,トークンベースの問合せとグループ化戦略を通じて,オブジェクトレベルの情報を明示的にキャプチャするマスク分類フレームワークであるtransformer network (cgformer) を提案する。 具体的には、cgformerはまずオブジェクトを表現するために学習可能なクエリトークンを導入し、次に言語的特徴を交互にクエリし、オブジェクト対応のクロスモーダル推論のためのクエリトークンに視覚的な特徴をグループ化する。 さらに、CGFormerは、2つの連続するレイヤごとにクエリトークンとデコードマスクを共同で更新することで、クロスレベルなインタラクションを実現する。 最後に、CGFormerはグループ戦略と対比学習を行い、参照者に対応するトークンとそのマスクを識別する。 実験の結果,CGFormerはセグメンテーションと一般化の両設定において,最先端の手法よりも一貫して,大幅に優れていた。

関連論文リスト

• Synchronizing Vision and Language: Bidirectional Token-Masking AutoEncoder for Referring Image Segmentation [26.262887028563163]
  Referring Image (RIS)は、自然言語で表現されたターゲットオブジェクトをピクセルレベルのシーン内でセグメントすることを目的としている。 マスク付きオートエンコーダ(MAE)に触発された新しい双方向トークンマスキングオートエンコーダ(BTMAE)を提案する。 BTMAEは、画像と言語の両方に欠けている機能をトークンレベルで再構築することで、画像から言語、言語へのイメージのコンテキストを学習する。
  論文  参考訳（メタデータ） (2023-11-29T07:33:38Z)
• Uncovering Prototypical Knowledge for Weakly Open-Vocabulary Semantic Segmentation [59.37587762543934]
  本稿では,弱開語彙セマンティックセマンティックセグメンテーション(WOVSS)の問題点について検討する。 既存の方法は、グループトークンの使用に関する粒度の矛盾に悩まされる。 マルチモーダル正規化を組み込んだプロトタイプ誘導ネットワーク(PGSeg)を提案する。
  論文  参考訳（メタデータ） (2023-10-29T13:18:00Z)
• Iterative Few-shot Semantic Segmentation from Image Label Text [36.53926941601841]
  ほとんどショットのセマンティックセマンティックセマンティクスは、いくつかのサポートイメージのガイダンスで、目に見えないクラスオブジェクトのセマンティクスを学ぶことを目的としている。 本稿では、強力な視覚言語モデルCLIPの助けを借りて、粗いマスクを生成するための一般的なフレームワークを提案する。 本手法は,野生および珍しいクラスの画像に対して,優れた一般化能力を有する。
  論文  参考訳（メタデータ） (2023-03-10T01:48:14Z)
• Learning Open-vocabulary Semantic Segmentation Models From Natural Language Supervision [49.905448429974804]
  オープン語彙セマンティックセマンティックセグメンテーション(OVS)は,事前に定義された閉集合のカテゴリではなく,任意のクラスのオブジェクトをセグメンテーションすることを目的としている。 OVSegmentorと呼ばれるOVSのトランスフォーマーベースモデルを提案する。 プレトレーニングには3%のデータ(4M vs 134M)のみを用いることで,最先端手法よりも優れたセグメンテーション結果が得られる。
  論文  参考訳（メタデータ） (2023-01-22T13:10:05Z)
• Linguistic Query-Guided Mask Generation for Referring Image Segmentation [10.130530501400079]
  画像セグメンテーションの参照は、与えられた言語表現に従って、興味のある画像領域をセグメンテーションすることを目的としている。 本稿では,言語クエリ誘導マスク生成を行うために,トランスフォーマー上に構築されたエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-01-16T13:38:22Z)
• Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation [75.00151934315967]
  MaskDistillは教師なしセマンティックセグメンテーションのための新しいフレームワークである。 我々のフレームワークは、低レベルの画像キューにラッチを付けず、オブジェクト中心のデータセットに限らない。
  論文  参考訳（メタデータ） (2022-06-13T17:59:43Z)
• GroupViT: Semantic Segmentation Emerges from Text Supervision [82.02467579704091]
  グループ化と認識は視覚的シーン理解の重要な構成要素である。 階層型グループ視覚変換器(GroupViT)を提案する。 GroupViTはセマンティック領域をグループ化し、セマンティックセグメンテーションのタスクにゼロショットで転送する。
  論文  参考訳（メタデータ） (2022-02-22T18:56:04Z)
• GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation [16.900404701997502]
  本稿では,潜伏マスクに条件付き画像を生成するGANベースのアプローチを提案する。 このようなマスク条件の画像生成は、マスクを階層的に条件付ける際に忠実に学習できることを示す。 また、セグメンテーションネットワークをトレーニングするためのイメージマスクペアの生成も可能で、既存のベンチマークでは、最先端の教師なしセグメンテーションメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-12-02T07:57:56Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Segmenter: Transformer for Semantic Segmentation [79.9887988699159]
  セマンティックセグメンテーションのためのトランスフォーマーモデルであるSegmenterを紹介します。 最近のViT(Vision Transformer)上に構築し,セマンティックセグメンテーションに拡張する。 これは、挑戦的なADE20Kデータセット上でのアートの状態を上回り、Pascal ContextとCityscapesでオンパーを実行する。
  論文  参考訳（メタデータ） (2021-05-12T13:01:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。