論文の概要: CPSeg: Finer-grained Image Semantic Segmentation via Chain-of-Thought Language Prompting

• arxiv url: http://arxiv.org/abs/2310.16069v1
• Date: Tue, 24 Oct 2023 13:32:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 18:59:38.985633
• Title: CPSeg: Finer-grained Image Semantic Segmentation via Chain-of-Thought Language Prompting
• Title（参考訳）: cpseg:chain-of-thought languageプロンプトによる細かな画像意味セグメンテーション
• Authors: Lei Li
• Abstract要約: CPSegは、新しいChain-of-Thoughtプロセスを統合することで、画像セグメンテーションのパフォーマンスを向上させるように設計されたフレームワークである。 我々は、画像、セマンティックマスク、および対応するテキスト情報を含む新しい視覚言語データセット、FloodPromptを提案する。
• 参考スコア（独自算出の注目度）: 8.12405696290333
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural scene analysis and remote sensing imagery offer immense potential for advancements in large-scale language-guided context-aware data utilization. This potential is particularly significant for enhancing performance in downstream tasks such as object detection and segmentation with designed language prompting. In light of this, we introduce the CPSeg, Chain-of-Thought Language Prompting for Finer-grained Semantic Segmentation), an innovative framework designed to augment image segmentation performance by integrating a novel "Chain-of-Thought" process that harnesses textual information associated with images. This groundbreaking approach has been applied to a flood disaster scenario. CPSeg encodes prompt texts derived from various sentences to formulate a coherent chain-of-thought. We propose a new vision-language dataset, FloodPrompt, which includes images, semantic masks, and corresponding text information. This not only strengthens the semantic understanding of the scenario but also aids in the key task of semantic segmentation through an interplay of pixel and text matching maps. Our qualitative and quantitative analyses validate the effectiveness of CPSeg.
• Abstract（参考訳）: 自然シーン分析とリモートセンシング画像は、大規模言語誘導コンテキスト認識データ利用の進歩に大きな可能性を秘めている。 このポテンシャルは、設計言語プロンプトによるオブジェクト検出やセグメンテーションといった下流タスクのパフォーマンス向上に特に重要である。 そこで本稿では,画像に関連づけられたテキスト情報を活用した新たな「思考の連鎖」プロセスを統合することにより,画像分割性能を向上させるための革新的なフレームワークである cpseg を紹介する。 この画期的なアプローチは洪水災害のシナリオに適用されている。 CPSegは、様々な文から派生したプロンプトテキストを符号化し、コヒーレント連鎖を定式化する。 我々は、画像、セマンティックマスク、および対応するテキスト情報を含む新しい視覚言語データセット、FloodPromptを提案する。 これはシナリオの意味的理解を強化するだけでなく、ピクセルとテキストのマッチングマップの相互作用を通じて意味的セグメンテーションの重要なタスクを支援する。 CPSegの有効性を質的,定量的に検証した。

関連論文リスト

• Exploring Phrase-Level Grounding with Text-to-Image Diffusion Model [61.389233691596004]
  本稿では,DiffPNGフレームワークについて紹介する。DiffPNGフレームワークは,プロセスを局所化,分節化,分節化の一連のステップに分解することで,分節化のための拡散のアーキテクチャを活用する。 PNGデータセットを用いた実験により, ゼロショットPNGタスク設定において, DiffPNGが強い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-07-07T13:06:34Z)
• Image-Text Co-Decomposition for Text-Supervised Semantic Segmentation [28.24883865053459]
  本稿では,高密度アノテーションを伴わない画像テキストペアのみを用いて,画像内の任意の視覚概念をセグメント化できるモデルを学習することを目的とする。 既存の手法では、画像とテキストのペアにおけるコントラスト学習が、視覚セグメントとテキストの意味を効果的に一致させることが示されている。 テキストはしばしば複数の意味概念で構成され、セマンティックセグメンテーションは意味的に同質なセグメンテーションを作成する。
  論文  参考訳（メタデータ） (2024-04-05T17:25:17Z)
• Language Guided Domain Generalized Medical Image Segmentation [68.93124785575739]
  単一ソースドメインの一般化は、より信頼性が高く一貫性のあるイメージセグメンテーションを現実の臨床環境にわたって約束する。 本稿では,テキストエンコーダ機能によって案内されるコントラスト学習機構を組み込むことで,テキスト情報を明確に活用する手法を提案する。 文献における既存手法に対して,本手法は良好な性能を発揮する。
  論文  参考訳（メタデータ） (2024-04-01T17:48:15Z)
• Language-guided Few-shot Semantic Segmentation [23.46604057006498]
  そこで本稿では,言語情報のみを用いたセマンティックセマンティックセグメンテーションの課題に対処する革新的な手法を提案する。 提案手法は,テキストプロンプトから高品質な擬似セマンティックマスクを生成する,視覚言語によるマスク蒸留方式である。 2つのベンチマークデータセットを用いた実験により,言語誘導型少数ショットセマンティックセマンティックセグメンテーションの新たなベースラインが確立された。
  論文  参考訳（メタデータ） (2023-11-23T09:08:49Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency [126.88107868670767]
  テキスト教師付きセマンティックセグメンテーションのためのマルチテキストbfView textbfConsistent Learning (ViewCo)を提案する。 まず,同じ入力画像の複数ビューに対する対応性を学習するためのテキスト・ツー・ビュー整合性モデリングを提案する。 また,テキスト管理の曖昧性問題に対処するために,クロスビューセグメンテーション整合性モデリングを提案する。
  論文  参考訳（メタデータ） (2023-01-31T01:57:52Z)
• BOSS: Bottom-up Cross-modal Semantic Composition with Hybrid Counterfactual Training for Robust Content-based Image Retrieval [61.803481264081036]
  CIR(Content-Based Image Retrieval)は,サンプル画像と補完テキストの合成を同時に解釈することで,対象画像の検索を目的とする。 本稿では,新しいアンダーラインtextbfBottom-up crunderlinetextbfOss-modal underlinetextbfSemantic compounderlinetextbfSition (textbfBOSS) とHybrid Counterfactual Training frameworkを用いてこの問題に取り組む。
  論文  参考訳（メタデータ） (2022-07-09T07:14:44Z)
• CRIS: CLIP-Driven Referring Image Segmentation [71.56466057776086]
  エンドツーエンドのCLIP駆動参照画像フレームワーク(CRIS)を提案する。 CRISは、テキストとピクセルのアライメントを達成するために、視覚言語によるデコーディングとコントラスト学習に頼っている。 提案するフレームワークは, 後処理を伴わずに, 最先端の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2021-11-30T07:29:08Z)
• Fine-grained Image Classification and Retrieval by Combining Visual and Locally Pooled Textual Features [8.317191999275536]
  特に、テキストの存在は、コンピュータビジョンタスクの多様性に対処するために使用されるべき強力なガイドコンテンツを提供する。 本稿では,テキスト情報と視覚的手がかりを併用した細粒度分類と画像検索の課題に対処し,両者の本質的な関係を解明する。
  論文  参考訳（メタデータ） (2020-01-14T12:06:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。