論文の概要: MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment

• arxiv url: http://arxiv.org/abs/2407.21654v1
• Date: Wed, 31 Jul 2024 14:56:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 12:27:41.660613
• Title: MTA-CLIP: Language-Guided Semantic Segmentation with Mask-Text Alignment
• Title（参考訳）: MTA-CLIP:マスクテキストアライメントによる言語誘導セマンティックセマンティックセグメンテーション
• Authors: Anurag Das, Xinting Hu, Li Jiang, Bernt Schiele,
• Abstract要約: CLIPのような大規模視覚言語モデルはセマンティックセグメンテーションのパフォーマンスを向上させることができる。 マスクレベルの視覚言語アライメントを利用した新しいフレームワークであるMTA-CLIPを紹介する。 MTA-CLIPは最先端を達成し、ベンチマークデータセットで平均2.8%と1.3%の先行研究を上回っている。
• 参考スコア（独自算出の注目度）: 53.235290505274676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent approaches have shown that large-scale vision-language models such as CLIP can improve semantic segmentation performance. These methods typically aim for pixel-level vision-language alignment, but often rely on low resolution image features from CLIP, resulting in class ambiguities along boundaries. Moreover, the global scene representations in CLIP text embeddings do not directly correlate with the local and detailed pixel-level features, making meaningful alignment more difficult. To address these limitations, we introduce MTA-CLIP, a novel framework employing mask-level vision-language alignment. Specifically, we first propose Mask-Text Decoder that enhances the mask representations using rich textual data with the CLIP language model. Subsequently, it aligns mask representations with text embeddings using Mask-to-Text Contrastive Learning. Furthermore, we introduce MaskText Prompt Learning, utilizing multiple context-specific prompts for text embeddings to capture diverse class representations across masks. Overall, MTA-CLIP achieves state-of-the-art, surpassing prior works by an average of 2.8% and 1.3% on on standard benchmark datasets, ADE20k and Cityscapes, respectively.
• Abstract（参考訳）: 近年、CLIPのような大規模視覚言語モデルではセマンティックセグメンテーションの性能が向上することが示されている。 これらの手法は一般的にピクセルレベルの視覚言語アライメントを目標としているが、しばしばCLIPの低解像度画像機能に依存しており、その結果境界に沿ったクラス曖昧さが生じる。 さらに、CLIPテキスト埋め込みにおけるグローバルなシーン表現は、局所的および詳細なピクセルレベルの特徴と直接相関しないため、意味のあるアライメントがより困難になる。 マスクレベルの視覚言語アライメントを用いた新しいフレームワークであるMTA-CLIPを導入する。 具体的には,CLIP言語モデルを用いたリッチテキストデータを用いてマスク表現を強化するMask-Text Decoderを提案する。 その後、マスクからテキストへのコントラスト学習を用いて、マスク表現とテキスト埋め込みを連携させる。 さらに,MaskText Prompt Learningを導入し,複数のコンテキスト固有のプロンプトを用いてテキスト埋め込みを行い,マスク間の多様なクラス表現をキャプチャする。 全体として、MTA-CLIPは最先端を達成し、標準ベンチマークデータセット、ADE20k、Cityscapesでそれぞれ平均2.8%、平均1.3%の先行作業を上回っている。

関連論文リスト

• Knowing Where to Focus: Attention-Guided Alignment for Text-based Person Search [64.15205542003056]
  本稿では,AGM(Atention-Guided Mask)モデリングとTEM(Text Enrichment Module)という,2つの革新的なコンポーネントを備えたAGA(Atention-Guided Alignment)フレームワークを紹介する。 AGA は CUHK-PEDES と ICFG-PEDES と RSTP でそれぞれ78.36%、67.31%、67.4% に達した。
  論文  参考訳（メタデータ） (2024-12-19T17:51:49Z)
• MaskCLIP++: A Mask-Based CLIP Fine-tuning Framework for Open-Vocabulary Image Segmentation [109.19165503929992]
  オープン語彙画像のセグメンテーションはマスク生成器と視覚言語モデルとの相乗効果によって進歩している。 MaskCLIP++と呼ばれる新しい微調整フレームワークを提案し、このフレームワークは生成されたマスクの代わりにグラウンドトルースマスクを使用する。 我々は,A-847,PC-459,A-150,PC-59,PAS-20データセット上で+1.7,+2.3,+2.1,+3.1,+0.3 mIoUの性能改善を実現する。
  論文  参考訳（メタデータ） (2024-12-16T05:44:45Z)
• Class-Aware Mask-Guided Feature Refinement for Scene Text Recognition [56.968108142307976]
  CAM(Class-Aware Mask-Guided Feature refinement)と呼ばれる新しい手法を提案する。 本手法では,背景およびテキストスタイルのノイズを抑制するために,標準クラス対応グリフマスクを導入している。 標準マスク特徴とテキスト特徴とのアライメントを強化することにより、モジュールはより効果的な融合を保証する。
  論文  参考訳（メタデータ） (2024-02-21T09:22:45Z)
• LightCLIP: Learning Multi-Level Interaction for Lightweight Vision-Language Models [45.672539931681065]
  軽量CLIPモデルのトレーニングのためのマルチレベルインタラクションパラダイムを提案する。 マスク付きテキスト埋め込みに非マスク画像の埋め込みを注入する補助融合モジュールを提案する。
  論文  参考訳（メタデータ） (2023-12-01T15:54:55Z)
• CLIP is Also an Efficient Segmenter: A Text-Driven Approach for Weakly Supervised Semantic Segmentation [19.208559353954833]
  本稿では,コントラスト言語-画像事前学習モデル(CLIP)が,画像レベルラベルのみを用いて異なるカテゴリをローカライズする可能性について検討する。 高品質なセグメンテーションマスクをCLIPから効率的に生成するために,CLIP-ESと呼ばれる新しいWSSSフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T06:23:59Z)
• Learning to Generate Text-grounded Mask for Open-world Semantic Segmentation from Only Image-Text Pairs [10.484851004093919]
  我々は,任意の視覚概念をイメージに分割する学習を目的とした,オープンワールドセマンティックセマンティックセマンティックセマンティクスに取り組む。 既存のオープンワールドセグメンテーション手法は、多様な視覚概念を学習するためにコントラッシブラーニング(CL)を採用することで、目覚ましい進歩を見せている。 そこで本研究では,モデルが地域テキストアライメントを直接学習することのできる,新しいテキストグラウンド・コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:03Z)
• MaskCLIP: Masked Self-Distillation Advances Contrastive Language-Image Pretraining [138.86293836634323]
  MaskCLIPは、新たに提案されたマスク付き自己蒸留をコントラスト言語イメージ事前学習に組み込む。 MaskCLIPは、言語エンコーダの誘導により、線形探索、微調整、ゼロショット性能において優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-08-25T17:59:58Z)
• Open-Vocabulary Universal Image Segmentation with MaskCLIP [24.74805434602145]
  我々は、新しいコンピュータビジョンタスク、オープン語彙のユニバーサルイメージセグメンテーションに取り組む。 トレーニング済みのCLIPモデルを直接適用することで,まずベースライン手法を構築する。 次に, MaskCLIP Visual を用いた Transformer ベースのアプローチである MaskCLIP を開発した。
  論文  参考訳（メタデータ） (2022-08-18T17:55:37Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。