論文の概要: Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation

• arxiv url: http://arxiv.org/abs/2407.11503v1
• Date: Tue, 16 Jul 2024 08:41:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 15:52:20.940095
• Title: Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation
• Title（参考訳）: マスクを超えて: ショットセグメンテーションにおけるガイダンスタイプの再考
• Authors: Shijie Chang, Youwei Pang, Xiaoqi Zhao, Lihe Zhang, Huchuan Lu,
• Abstract要約: 我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。 UniFSSは最先端の手法よりも優れています。
• 参考スコア（独自算出の注目度）: 67.35274834837064
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing few-shot segmentation (FSS) methods mainly focus on prototype feature generation and the query-support matching mechanism. As a crucial prompt for generating prototype features, the pair of image-mask types in the support set has become the default setting. However, various types such as image, text, box, and mask all can provide valuable information regarding the objects in context, class, localization, and shape appearance. Existing work focuses on specific combinations of guidance, leading FSS into different research branches. Rethinking guidance types in FSS is expected to explore the efficient joint representation of the coupling between the support set and query set, giving rise to research trends in the weakly or strongly annotated guidance to meet the customized requirements of practical users. In this work, we provide the generalized FSS with seven guidance paradigms and develop a universal vision-language framework (UniFSS) to integrate prompts from text, mask, box, and image. Leveraging the advantages of large-scale pre-training vision-language models in textual and visual embeddings, UniFSS proposes high-level spatial correction and embedding interactive units to overcome the semantic ambiguity drawbacks typically encountered by pure visual matching methods when facing intra-class appearance diversities. Extensive experiments show that UniFSS significantly outperforms the state-of-the-art methods. Notably, the weakly annotated class-aware box paradigm even surpasses the finely annotated mask paradigm.
• Abstract（参考訳）: 既存の数ショットセグメンテーション(FSS)メソッドは、主にプロトタイプの機能生成とクエリ対応マッチング機構に焦点を当てている。 プロトタイプ機能を生成する上で重要なプロンプトとして、サポートセット内のイメージマスク型がデフォルト設定になっている。 しかし、画像、テキスト、ボックス、マスクといった様々なタイプは、コンテキスト、クラス、ローカライゼーション、形状の外観に関する貴重な情報を提供することができる。 既存の研究はガイダンスの特定の組み合わせに焦点を当てており、FSSを異なる研究分野に導く。 FSSにおけるガイダンスタイプの再検討は,サポートセットとクエリセットの結合の効率的な共同表現を探求することが期待される。 本研究では、一般化されたFSSに7つのガイダンスパラダイムを提供し、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発する。 テキストおよび視覚埋め込みにおける大規模事前学習型視覚言語モデルの利点を生かし、UniFSSは高レベルの空間補正と対話ユニットの埋め込みを提案し、クラス内外見の多様性に直面する場合の純粋視覚マッチング手法によって生じる意味的あいまいさの欠点を克服する。 大規模な実験により、UniFSSは最先端の手法よりも大幅に優れていることが示された。 特に、弱アノテートなクラス認識ボックスパラダイムは、微アノテートされたマスクパラダイムを超越している。

関連論文リスト

• Envisioning Class Entity Reasoning by Large Language Models for Few-shot Learning [13.68867780184022]
  少ないショット学習は、限られた数のビジュアルサンプルを使用して新しい概念を認識することを目的としている。 我々のフレームワークは,Large Language Models(LLMs)から抽出した抽象クラスセマンティクスと具体的なクラスエンティティの両方を組み込んでいる。 難易度の高いワンショット設定では、ResNet-12のバックボーンを利用して、第2の競争相手に比べて平均1.95%の改善を実現しています。
  論文  参考訳（メタデータ） (2024-08-22T15:10:20Z)
• Embedding Generalized Semantic Knowledge into Few-Shot Remote Sensing Segmentation [26.542268630980814]
  リモートセンシング(RS)画像のためのFew-shot segmentation (FSS)は、限られた注釈付きサンプルからのサポート情報を活用して、新しいクラスのクエリセグメンテーションを実現する。 従来の取り組みは、制約された支援サンプルの集合からセグメント化を導く視覚的手がかりをマイニングすることに集中している。 本稿では,一般的な意味知識を効果的に活用する全体論的意味埋め込み(HSE)手法を提案する。
  論文  参考訳（メタデータ） (2024-05-22T14:26:04Z)
• CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing [66.6712018832575]
  ドメイン一般化 (DG) ベースの Face Anti-Spoofing (FAS) は、目に見えないドメインにおけるモデルの性能を改善することを目的としている。 私たちはCLIPのような大規模VLMを利用し、テキスト機能を利用して分類器の重みを動的に調整し、一般化可能な視覚的特徴を探索する。
  論文  参考訳（メタデータ） (2024-03-21T11:58:50Z)
• Language-Driven Visual Consensus for Zero-Shot Semantic Segmentation [114.72734384299476]
  本稿では,言語駆動型ビジュアルコンセンサス(LDVC)アプローチを提案する。 クラス埋め込みを、その離散的で抽象的な性質からアンカーとして活用し、クラス埋め込みに向けて視覚的特徴を操る。 我々の手法は、目に見えないクラスに対するセグメンテーションモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-13T11:23:55Z)
• Leveraging Open-Vocabulary Diffusion to Camouflaged Instance Segmentation [59.78520153338878]
  テキスト・ツー・イメージ拡散技術は、テキスト記述から高品質な画像を生成する素晴らしい能力を示している。 そこで本研究では,オープン語彙を応用した最先端拡散モデルを用いて,多スケールのテキスト・視覚的特徴を学習する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-29T07:59:07Z)
• Visual and Textual Prior Guided Mask Assemble for Few-Shot Segmentation and Beyond [0.0]
  視覚的およびテキスト的事前案内マスク集合ネットワーク(PGMA-Net)を提案する。 偏見を緩和するためにクラス非依存のマスクアセンブリープロセスを採用し、様々なタスクをアフィニティを通じて事前を組み立てることで統一的な方法で定式化する。 mIoUは$textPASCAL-5i$で7.6ドル、$textCOCO-20i$で59.4ドルである。
  論文  参考訳（メタデータ） (2023-08-15T02:46:49Z)
• Holistic Prototype Attention Network for Few-Shot VOS [74.25124421163542]
  FSVOS(Few-shot Video Object segmentation)は、少数のサポートイメージに頼って、目に見えないクラスの動的オブジェクトをセグメントすることを目的としている。 本稿では,FSVOS を前進させるための総合プロトタイプアテンションネットワーク (HPAN) を提案する。
  論文  参考訳（メタデータ） (2023-07-16T03:48:57Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• LPN: Language-guided Prototypical Network for few-shot classification [16.37959398470535]
  ラベル付き例を限定して、新しいタスクに適応することを目的としている。 近年の手法では,クエリとサポート画像の類似性の適切な測定方法が検討されている。 本稿では,言語誘導型プロトタイプネットワーク(LPN)を提案する。
  論文  参考訳（メタデータ） (2023-07-04T06:54:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。