論文の概要: DPSeg: Dual-Prompt Cost Volume Learning for Open-Vocabulary Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2505.11676v1
• Date: Fri, 16 May 2025 20:25:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:10.775249
• Title: DPSeg: Dual-Prompt Cost Volume Learning for Open-Vocabulary Semantic Segmentation
• Title（参考訳）: DPSeg:オープン語彙セマンティックセグメンテーションのためのデュアルプロンプトコストボリューム学習
• Authors: Ziyu Zhao, Xiaoguang Li, Linjia Shi, Nasrin Imanpour, Song Wang,
• Abstract要約: Open-vocabulary semantic segmentationは、画像をピクセルレベルで異なる意味領域に分割することを目的としている。 現在の方法は、CLIPのような訓練済みの視覚言語モデルのテキスト埋め込みを利用する。 本稿では,この課題に対する二重プロンプトフレームワークDPSegを提案する。
• 参考スコア（独自算出の注目度）: 16.64056234334767
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-vocabulary semantic segmentation aims to segment images into distinct semantic regions for both seen and unseen categories at the pixel level. Current methods utilize text embeddings from pre-trained vision-language models like CLIP but struggle with the inherent domain gap between image and text embeddings, even after extensive alignment during training. Additionally, relying solely on deep text-aligned features limits shallow-level feature guidance, which is crucial for detecting small objects and fine details, ultimately reducing segmentation accuracy. To address these limitations, we propose a dual prompting framework, DPSeg, for this task. Our approach combines dual-prompt cost volume generation, a cost volume-guided decoder, and a semantic-guided prompt refinement strategy that leverages our dual prompting scheme to mitigate alignment issues in visual prompt generation. By incorporating visual embeddings from a visual prompt encoder, our approach reduces the domain gap between text and image embeddings while providing multi-level guidance through shallow features. Extensive experiments demonstrate that our method significantly outperforms existing state-of-the-art approaches on multiple public datasets.
• Abstract（参考訳）: Open-vocabulary semantic segmentation は、画像がピクセルレベルで見えないカテゴリと見えないカテゴリの両方に対して、異なるセマンティック領域に分割することを目的としている。 現在の方法は、CLIPのようなトレーニング済みの視覚言語モデルからのテキスト埋め込みを利用するが、トレーニング中に広範囲にアライメントした後でも、画像とテキスト埋め込みの間の固有のドメインギャップに苦労する。 さらに、深いテキスト整列機能のみに依存すると、浅いレベルの特徴ガイダンスが制限されるため、小さなオブジェクトや細部の検出に不可欠であり、最終的にセグメント化の精度が低下する。 これらの制約に対処するため,本稿ではDPSegという2つのプロンプトフレームワークを提案する。 提案手法は,デュアルプロンプト・コスト・ボリューム生成,コスト・ボリューム誘導型デコーダ,および視覚的プロンプト生成におけるアライメント問題を緩和するための2つのプロンプト・プロンプト・スキームを活用するセマンティック・ガイダンス・プロンプト・リファインメント・ストラテジーを組み合わせたものである。 視覚的プロンプトエンコーダから視覚的エンコーダを組み込むことで,テキストと画像の埋め込みの領域間を減らし,浅い特徴を通じて多段階のガイダンスを提供する。 大規模な実験により、我々の手法は複数の公開データセットに対する既存の最先端アプローチよりも大幅に優れていることが示された。

関連論文リスト

• Aligning Information Capacity Between Vision and Language via Dense-to-Sparse Feature Distillation for Image-Text Matching [18.554618623593004]
  既存のメソッドは通常、埋め込みの集合を学習し、各ビューのテキストに最適なマッチングを見つけ、類似性を計算する。 本稿では,高密度テキスト蒸留を利用してスパーステキストの情報容量を向上させるDense-to-Sparse Feature Distilled Visual Semantic Embedding (D2S-VSE)を提案する。 提案するD2S-VSEモデルは,大規模なMS-COCOおよびFlickr30Kデータセット上で広範囲に評価されている。
  論文  参考訳（メタデータ） (2025-03-19T07:42:24Z)
• The Power of One: A Single Example is All it Takes for Segmentation in VLMs [29.735863112700358]
  大規模視覚言語モデル(VLM)は、テキスト記述と画像領域の関連性を暗黙的に学習することで、強力なマルチモーダル理解能力を示す。 この創発的能力は、テキストイメージの注意マップに依存する技術を用いて、ゼロショットオブジェクトの検出とセグメンテーションを可能にする。 提案手法は, ゼロショット性能が向上し, 単一視覚例による微調整によりさらに向上することを示す。
  論文  参考訳（メタデータ） (2025-03-13T18:18:05Z)
• InvSeg: Test-Time Prompt Inversion for Semantic Segmentation [33.60580908728705]
  InvSegはオープン語彙セマンティックセグメンテーションに取り組むテストタイムプロンプトインバージョンメソッドである。 コントラストソフトクラスタリング(Contrastive Soft Clustering, CSC)を導入し, 導出マスクを画像の構造情報と整合させる。 InvSegはコンテキストリッチなテキストプロンプトを埋め込み空間で学習し、モダリティ間の正確なセマンティックアライメントを実現する。
  論文  参考訳（メタデータ） (2024-10-15T10:20:31Z)
• Multi-Grained Cross-modal Alignment for Learning Open-vocabulary Semantic Segmentation from Text Supervision [23.931443799102663]
  我々は,高密度アノテーションを使わずに粒度ギャップを埋めるために,MGCA(Multi-Grained Cross-Modal Alignment)フレームワークを導入する。 具体的には、MGCAは画像とテキストのペアに基づいて擬似多言語意味対応を構築する。 提案手法は最先端の手法よりも大幅に進歩し,その有効性と効率性を実証する。
  論文  参考訳（メタデータ） (2024-03-06T13:43:36Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• DualCoOp++: Fast and Effective Adaptation to Multi-Label Recognition with Limited Annotations [79.433122872973]
  低ラベル体制における多ラベル画像認識は、大きな課題と実践的重要性の課題である。 我々は、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴の強力なアライメントを活用する。 Evidence-guided Dual Context Optimization (DualCoOp++) という,効率的かつ効果的なフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-03T17:33:20Z)
• CAT-Seg: Cost Aggregation for Open-Vocabulary Semantic Segmentation [56.58365347854647]
  私たちは、視覚言語基盤モデル、特にCLIPを適応するためのコストベースの新しいアプローチを導入します。 エンコーダの微調整により,CLIPをセグメント化,未確認のクラスに適応させる手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T12:28:21Z)
• ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency [126.88107868670767]
  テキスト教師付きセマンティックセグメンテーションのためのマルチテキストbfView textbfConsistent Learning (ViewCo)を提案する。 まず,同じ入力画像の複数ビューに対する対応性を学習するためのテキスト・ツー・ビュー整合性モデリングを提案する。 また,テキスト管理の曖昧性問題に対処するために,クロスビューセグメンテーション整合性モデリングを提案する。
  論文  参考訳（メタデータ） (2023-01-31T01:57:52Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。