Fugu-MT 論文翻訳(概要): Language-guided Few-shot Semantic Segmentation

論文の概要: Language-guided Few-shot Semantic Segmentation

arxiv url: http://arxiv.org/abs/2311.13865v1
Date: Thu, 23 Nov 2023 09:08:49 GMT
ステータス: 処理完了
システム内更新日: 2023-11-28 00:19:20.910918
Title: Language-guided Few-shot Semantic Segmentation
Title（参考訳）: 言語誘導による少数ショット意味セグメンテーション
Authors: Jing Wang, Yuang Liu, Qiang Zhou, Fan Wang
Abstract要約: そこで本稿では,言語情報のみを用いたセマンティックセマンティックセグメンテーションの課題に対処する革新的な手法を提案する。提案手法は,テキストプロンプトから高品質な擬似セマンティックマスクを生成する,視覚言語によるマスク蒸留方式である。 2つのベンチマークデータセットを用いた実験により,言語誘導型少数ショットセマンティックセマンティックセグメンテーションの新たなベースラインが確立された。
参考スコア（独自算出の注目度）: 23.46604057006498
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Few-shot learning is a promising way for reducing the label cost in new categories adaptation with the guidance of a small, well labeled support set. But for few-shot semantic segmentation, the pixel-level annotations of support images are still expensive. In this paper, we propose an innovative solution to tackle the challenge of few-shot semantic segmentation using only language information, i.e.image-level text labels. Our approach involves a vision-language-driven mask distillation scheme, which contains a vision-language pretraining (VLP) model and a mask refiner, to generate high quality pseudo-semantic masks from text prompts. We additionally introduce a distributed prototype supervision method and complementary correlation matching module to guide the model in digging precise semantic relations among support and query images. The experiments on two benchmark datasets demonstrate that our method establishes a new baseline for language-guided few-shot semantic segmentation and achieves competitive results to recent vision-guided methods.
Abstract（参考訳）: 少数ショット学習は、小さなラベル付きサポートセットのガイダンスに従って、新しいカテゴリ適応でラベルコストを削減する有望な方法である。しかし、いくつかのセマンティックセグメンテーションでは、サポート画像のピクセルレベルのアノテーションはまだ高価だ。本稿では,言語情報,すなわち画像レベルテキストラベルのみを用いた,数発意味セグメンテーションの課題に取り組むための革新的な解決法を提案する。提案手法では,VLPモデルとマスク精錬器を含む視覚言語駆動型マスク蒸留方式を用いて,テキストプロンプトから高品質な擬似セマンティックマスクを生成する。さらに,支援画像と問合せ画像間の正確な意味関係を探索するモデルのガイドとして,分散プロトタイプ監督手法と補完相関マッチングモジュールを提案する。 2つのベンチマークデータセットにおける実験により,本手法は,言語誘導小ショット意味セグメンテーションのための新しいベースラインを確立し,近年の視覚誘導法と競合する結果を得ることができた。

関連論文リスト

CPSeg: Finer-grained Image Semantic Segmentation via Chain-of-Thought Language Prompting [8.12405696290333]
CPSegは、新しいChain-of-Thoughtプロセスを統合することで、画像セグメンテーションのパフォーマンスを向上させるように設計されたフレームワークである。我々は、画像、セマンティックマスク、および対応するテキスト情報を含む新しい視覚言語データセット、FloodPromptを提案する。
論文参考訳（メタデータ） (2023-10-24T13:32:32Z)
Shatter and Gather: Learning Referring Image Segmentation with Text Supervision [52.46081425504072]
入力画像中の意味的エンティティを検出し,テキストクエリに関連するエンティティを組み合わせて参照者のマスクを予測するモデルを提案する。提案手法は,イメージセグメンテーションを参照するための4つの公開ベンチマークで評価され,既存のタスクと最近の全てのベンチマークにおけるオープン語彙セグメンテーションモデルよりも明らかに優れていた。
論文参考訳（メタデータ） (2023-08-29T15:39:15Z)
MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner for Open-World Semantic Segmentation [110.09800389100599]
セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
論文参考訳（メタデータ） (2023-08-09T09:35:16Z)
LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
ラベル付き例を限定して、新しいタスクに適応することを目的としている。近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
論文参考訳（メタデータ） (2023-07-04T06:54:01Z)
Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。 ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
論文参考訳（メタデータ） (2023-06-01T08:47:06Z)
ViewCo: Discovering Text-Supervised Segmentation Masks via Multi-View Semantic Consistency [126.88107868670767]
テキスト教師付きセマンティックセグメンテーションのためのマルチテキストbfView textbfConsistent Learning (ViewCo)を提案する。まず,同じ入力画像の複数ビューに対する対応性を学習するためのテキスト・ツー・ビュー整合性モデリングを提案する。また,テキスト管理の曖昧性問題に対処するために,クロスビューセグメンテーション整合性モデリングを提案する。
論文参考訳（メタデータ） (2023-01-31T01:57:52Z)
Single-Stream Multi-Level Alignment for Vision-Language Pretraining [103.09776737512078]
モーダルを複数のレベルで整列させる単一ストリームモデルを提案する。対称的相互モダリティ再構築と擬似ラベル付きキーワード予測という2つの新しいタスクを用いてこれを実現する。我々は、ゼロショット/ファインチューニングされた画像/テキスト検索、参照表現、VQAといった一連の視覚言語タスクにおいて、トップパフォーマンスを示す。
論文参考訳（メタデータ） (2022-03-27T21:16:10Z)
Incremental Learning in Semantic Segmentation from Image Labels [18.404068463921426]
既存のセマンティックセグメンテーションアプローチは印象的な結果を得るが、新しいカテゴリが発見されるにつれてモデルを漸進的に更新することは困難である。本稿では、安価で広く利用可能な画像レベルのラベルから新しいクラスを分類することを目的とした、Weakly Incremental Learning for Semanticsのための新しいフレームワークを提案する。擬似ラベルをオフラインで生成する既存のアプローチとは対照的に、画像レベルのラベルで訓練され、セグメンテーションモデルで正規化される補助分類器を使用して、擬似スーパービジョンをオンラインで取得し、モデルを漸進的に更新する。
論文参考訳（メタデータ） (2021-12-03T12:47:12Z)
A Pixel-Level Meta-Learner for Weakly Supervised Few-Shot Semantic Segmentation [40.27705176115985]
Few-shotのセマンティックセマンティックセグメンテーションは、興味のある新しいクラスのために、地上の真実のピクセルレベルのラベルを持つ少数の画像しか利用できない学習タスクに対処する。限られたデータとその意味ラベルから擬似画素レベルのセグメンテーションマスクを予測するメタラーニングフレームワークを提案する。提案する学習モデルは,画素レベルのメタラーナーとみなすことができる。
論文参考訳（メタデータ） (2021-11-02T08:28:11Z)
Part-aware Prototype Network for Few-shot Semantic Segmentation [50.581647306020095]
本稿では,プロトタイプ表現に基づく新規な数ショットセマンティックセマンティックセマンティクスフレームワークを提案する。私たちのキーとなるアイデアは、全体論的なクラス表現を、部分認識型プロトタイプのセットに分解することです。提案する部分認識型プロトタイプを生成・拡張する新しいグラフニューラルネットワークモデルを開発した。
論文参考訳（メタデータ） (2020-07-13T11:03:09Z)
Few-Shot Semantic Segmentation Augmented with Image-Level Weak Annotations [23.02986307143718]
ショットセマンティックセグメンテーションの最近の進歩は、わずか数ピクセルレベルの注釈付き例によってこの問題に対処している。私たちのキーとなるアイデアは、イメージレベルのラベル付きデータから知識を融合させることで、クラスのより優れたプロトタイプ表現を学ぶことです。画像レベルのアノテーションを統合することで,距離空間におけるクラスプロトタイプ表現を学習するための新しいフレームワークPAIAを提案する。
論文参考訳（メタデータ） (2020-07-03T04:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。