論文の概要: InvSeg: Test-Time Prompt Inversion for Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2410.11473v2
• Date: Fri, 03 Jan 2025 18:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-06 15:09:40.614313
• Title: InvSeg: Test-Time Prompt Inversion for Semantic Segmentation
• Title（参考訳）: InvSeg: セマンティックセグメンテーションのためのテスト時間プロンプトインバージョン
• Authors: Jiayi Lin, Jiabo Huang, Jian Hu, Shaogang Gong,
• Abstract要約: InvSegはオープン語彙セマンティックセグメンテーションに取り組むテストタイムプロンプトインバージョンメソッドである。 コントラストソフトクラスタリング(Contrastive Soft Clustering, CSC)を導入し, 導出マスクを画像の構造情報と整合させる。 InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
• 参考スコア（独自算出の注目度）: 33.60580908728705
• License:
• Abstract: Visual-textual correlations in the attention maps derived from text-to-image diffusion models are proven beneficial to dense visual prediction tasks, e.g., semantic segmentation. However, a significant challenge arises due to the input distributional discrepancy between the context-rich sentences used for image generation and the isolated class names typically used in semantic segmentation. This discrepancy hinders diffusion models from capturing accurate visual-textual correlations. To solve this, we propose InvSeg, a test-time prompt inversion method that tackles open-vocabulary semantic segmentation by inverting image-specific visual context into text prompt embedding space, leveraging structure information derived from the diffusion model's reconstruction process to enrich text prompts so as to associate each class with a structure-consistent mask. Specifically, we introduce Contrastive Soft Clustering (CSC) to align derived masks with the image's structure information, softly selecting anchors for each class and calculating weighted distances to push inner-class pixels closer while separating inter-class pixels, thereby ensuring mask distinction and internal consistency. By incorporating sample-specific context, InvSeg learns context-rich text prompts in embedding space and achieves accurate semantic alignment across modalities. Experiments show that InvSeg achieves state-of-the-art performance on the PASCAL VOC, PASCAL Context and COCO Object datasets.
• Abstract（参考訳）: テキスト・ツー・イメージ拡散モデルから導かれる注目マップの視覚的・テキスト的相関は、例えばセマンティックセグメンテーションのような密集した視覚的予測タスクに有用であることが証明されている。 しかし、画像生成に使用される文脈豊富な文と、セマンティックセグメンテーションで一般的に使用される孤立クラス名との入力分布の相違により、大きな課題が生じる。 この不一致は、正確な視覚とテクスチャの相関を捉えない拡散モデルを妨げる。 そこで本研究では,画像固有の視覚コンテキストをテキストプロンプト埋め込み空間に変換することで,オープン語彙セマンティックセマンティックセマンティクスに取り組むテスト時プロンティクスのインバージョン手法であるInvSegを提案する。 具体的には、コントラシティブ・ソフト・クラスタリング(CSC)を導入し、導出マスクを画像の構造情報と整合させ、各クラスごとにアンカーをソフトに選択し、重み付き距離を計算し、クラス間画素を分離しながら内部クラスの画素を接近させ、マスクの区別と内部整合性を確保する。 サンプル固有のコンテキストを取り入れることで、InvSegはコンテキストに富んだテキストプロンプトを埋め込み空間で学習し、モジュール間の正確なセマンティックアライメントを実現する。 実験によると、InvSegはPASCAL VOC、PASCALコンテキスト、COCOオブジェクトデータセット上で最先端のパフォーマンスを達成する。

関連論文リスト

• Image-Text Co-Decomposition for Text-Supervised Semantic Segmentation [28.24883865053459]
  本稿では,高密度アノテーションを伴わない画像テキストペアのみを用いて,画像内の任意の視覚概念をセグメント化できるモデルを学習することを目的とする。 既存の手法では、画像とテキストのペアにおけるコントラスト学習が、視覚セグメントとテキストの意味を効果的に一致させることが示されている。 テキストはしばしば複数の意味概念で構成され、セマンティックセグメンテーションは意味的に同質なセグメンテーションを作成する。
  論文  参考訳（メタデータ） (2024-04-05T17:25:17Z)
• Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation [33.336549577936196]
  Weakly-Supervised Semantic (WSSS) は、画像レベルの監督のみで画像データを用いてセグメンテーションモデルを訓練することを目的としている。 本稿では,CLIP潜伏空間を効果的に促進するためのWSSS(Semantic Prompt Learning for WSSS)フレームワークを提案する。 SemPLeSは、オブジェクトリージョンとクラスラベルのセマンティックアライメントを改善することができるため、セグメンテーションモデルをトレーニングするための擬似マスクが望ましい。
  論文  参考訳（メタデータ） (2024-01-22T09:41:05Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• FuseNet: Self-Supervised Dual-Path Network for Medical Image Segmentation [3.485615723221064]
  FuseNetは、自己教師型セマンティックセグメンテーションのためのデュアルストリームフレームワークである。 クロスモーダル融合技術は、テキストデータを拡張画像に置き換えることで、CLIPの原理を拡張している。 皮膚病変と肺分画データセットの実験により, 本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-11-22T00:03:16Z)
• Text Augmented Spatial-aware Zero-shot Referring Image Segmentation [60.84423786769453]
  テキスト拡張空間認識(TAS)ゼロショット参照画像セグメンテーションフレームワークを提案する。 TASには、例レベルのマスク抽出のためのマスク提案ネットワーク、画像テキスト相関をマイニングするためのテキスト拡張ビジュアルテキストマッチングスコア、マスク後処理のための空間が含まれている。 提案手法は,最先端のゼロショット参照画像セグメンテーション法より明らかに優れている。
  論文  参考訳（メタデータ） (2023-10-27T10:52:50Z)
• Zero-shot spatial layout conditioning for text-to-image diffusion models [52.24744018240424]
  大規模テキスト・画像拡散モデルでは、生成画像モデリングにおける技術の現状が大幅に改善されている。 画像キャンバスのセグメントに関連付けられたテキストからの画像生成を考察し、直感的な自然言語インタフェースと生成されたコンテンツの正確な空間制御を組み合わせた。 ZestGuideは,事前学習したテキスト・画像拡散モデルにプラグイン可能なゼロショットセグメンテーション誘導手法である。
  論文  参考訳（メタデータ） (2023-06-23T19:24:48Z)
• ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency [126.88107868670767]
  テキスト教師付きセマンティックセグメンテーションのためのマルチテキストbfView textbfConsistent Learning (ViewCo)を提案する。 まず,同じ入力画像の複数ビューに対する対応性を学習するためのテキスト・ツー・ビュー整合性モデリングを提案する。 また,テキスト管理の曖昧性問題に対処するために,クロスビューセグメンテーション整合性モデリングを提案する。
  論文  参考訳（メタデータ） (2023-01-31T01:57:52Z)
• Language-driven Semantic Segmentation [88.21498323896475]
  本稿では,言語駆動型セマンティックイメージセグメンテーションの新しいモデルLSegを提案する。 テキストエンコーダを用いて記述型入力ラベルの埋め込みを計算する。 エンコーダは、画素埋め込みを対応するセマンティッククラスのテキスト埋め込みに合わせるために、対照的な目的で訓練される。
  論文  参考訳（メタデータ） (2022-01-10T18:59:10Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。