論文の概要: Vocabulary-free Image Classification and Semantic Segmentation

• arxiv url: http://arxiv.org/abs/2404.10864v1
• Date: Tue, 16 Apr 2024 19:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-18 18:02:19.164221
• Title: Vocabulary-free Image Classification and Semantic Segmentation
• Title（参考訳）: 語彙のない画像分類とセマンティックセグメンテーション
• Authors: Alessandro Conti, Enrico Fini, Massimiliano Mancini, Paolo Rota, Yiming Wang, Elisa Ricci,
• Abstract要約: 本稿では,Vocabulary-free Image Classification (VIC)タスクを導入する。これは,制約のない言語による意味空間から,既知の語彙を必要とせずに,入力画像にクラスを割り当てることを目的としている。 VICは、細かなカテゴリを含む数百万の概念を含む意味空間の広さのために、挑戦的である。 本稿では,事前学習された視覚言語モデルと外部データベースを利用した学習自由度手法CaSEDを提案する。
• 参考スコア（独自算出の注目度）: 71.78089106671581
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large vision-language models revolutionized image classification and semantic segmentation paradigms. However, they typically assume a pre-defined set of categories, or vocabulary, at test time for composing textual prompts. This assumption is impractical in scenarios with unknown or evolving semantic context. Here, we address this issue and introduce the Vocabulary-free Image Classification (VIC) task, which aims to assign a class from an unconstrained language-induced semantic space to an input image without needing a known vocabulary. VIC is challenging due to the vastness of the semantic space, which contains millions of concepts, including fine-grained categories. To address VIC, we propose Category Search from External Databases (CaSED), a training-free method that leverages a pre-trained vision-language model and an external database. CaSED first extracts the set of candidate categories from the most semantically similar captions in the database and then assigns the image to the best-matching candidate category according to the same vision-language model. Furthermore, we demonstrate that CaSED can be applied locally to generate a coarse segmentation mask that classifies image regions, introducing the task of Vocabulary-free Semantic Segmentation. CaSED and its variants outperform other more complex vision-language models, on classification and semantic segmentation benchmarks, while using much fewer parameters.
• Abstract（参考訳）: 大きな視覚言語モデルは、画像分類とセマンティックセグメンテーションパラダイムに革命をもたらした。 しかし、それらは典型的には、テキストプロンプトを構成するテスト時に、事前に定義されたカテゴリ、または語彙のセットを仮定する。 この仮定は、未知または進化するセマンティックコンテキストを持つシナリオでは現実的ではない。 本稿では,この課題に対処し,Vocabulary-free Image Classification (VIC)タスクを導入する。これは,制約のない言語によるセマンティック空間から,既知の語彙を必要とせずに,入力画像にクラスを割り当てることを目的としている。 VICは、細かなカテゴリを含む数百万の概念を含む意味空間の広さのために、挑戦的である。 VICに対処するために,事前学習された視覚言語モデルと外部データベースを利用する訓練不要なCaSED(Caegory Search from external Database)を提案する。 CaSEDはまず、データベースの最も意味的に類似したキャプションから候補カテゴリの集合を抽出し、同じ視覚言語モデルに基づいて最適な候補カテゴリに画像を割り当てる。 さらに, 画像領域を分類する粗いセグメンテーションマスクを生成するために, CaSEDを局所的に適用できることを示し, 語彙自由セマンティックセグメンテーションの課題を紹介した。 CaSEDとその変種は、はるかに少ないパラメータを使用しながら、分類とセマンティックセグメンテーションのベンチマークにおいて、他のより複雑な視覚言語モデルよりも優れている。

関連論文リスト

• SemPLeS: Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation [36.41778553250247]
  Weakly-Supervised Semantic (WSSS) は、画像レベルの監督のみで画像データを用いてセグメンテーションモデルを訓練することを目的としている。 本稿では,CLIP潜伏空間を効果的に促進するためのWSSS(Semantic Prompt Learning for WSSS)フレームワークを提案する。 SemPLeSはオブジェクト領域と関連するクラスラベル間のセマンティックアライメントを改善することができる。
  論文  参考訳（メタデータ） (2024-01-22T09:41:05Z)
• Auto-Vocabulary Semantic Segmentation [13.410217680999462]
  textitAuto-Vocabulary Semantics (AVS)を導入する。 本フレームワークは,拡張BLIP埋め込みを用いて,関連クラス名を自律的に識別する。 提案手法は,PASCAL VOCやContext,ADE20K,Cityscapes for AVSなどのデータセットに新たなベンチマークを設定する。
  論文  参考訳（メタデータ） (2023-12-07T18:55:52Z)
• Leveraging multilingual transfer for unsupervised semantic acoustic word embeddings [23.822788597966646]
  音響単語埋め込み(AWEs)は、音声の内容を符号化する音声セグメントの固定次元ベクトル表現である。 本稿ではセマンティックAWEモデリングについて考察する。 AWEがダウンストリームのセマンティッククエリ・バイ・サンプル検索に使用できることを初めて示します。
  論文  参考訳（メタデータ） (2023-07-05T07:46:54Z)
• Vocabulary-free Image Classification [75.38039557783414]
  VIC(Vocabulary-free Image Classification)と呼ばれる新しいタスクを定式化する。 VICは、既知の語彙を必要とせずに、制約のない言語によって引き起こされる意味空間に存在するクラスを入力画像に割り当てることを目的としている。 CaSEDは、事前訓練された視覚言語モデルと外部視覚言語データベースを利用して、VICをトレーニング不要に対処する手法である。
  論文  参考訳（メタデータ） (2023-06-01T17:19:43Z)
• Exploring Open-Vocabulary Semantic Segmentation without Human Labels [76.15862573035565]
  我々は、既存の事前学習された視覚言語モデル(VL)を利用して意味的セグメンテーションモデルを訓練するZeroSegを提案する。 ZeroSegは、VLモデルで学んだ視覚概念をセグメントトークンの集合に蒸留することでこれを克服し、それぞれが対象画像の局所化領域を要約する。 提案手法は,他のゼロショットセグメンテーション法と比較して,同じトレーニングデータを用いた場合と比較して,最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-01T08:47:06Z)
• IFSeg: Image-free Semantic Segmentation via Vision-Language Model [67.62922228676273]
  目的は,対象のセマンティックなカテゴリの集合にのみ依存するセマンティックセマンティックセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなタスクを実現することである。 本研究では、ランダムな意味圏の2次元マップと、対応する単語トークンの別のマップを作成することで、この人工的なトレーニングデータを構築する。 本モデルでは,本課題の効果的なベースラインを確立するだけでなく,既存手法と比較して高い性能を示す。
  論文  参考訳（メタデータ） (2023-03-25T08:19:31Z)
• Natural Scene Image Annotation Using Local Semantic Concepts and Spatial Bag of Visual Words [0.0]
  本稿では,事前に定義された語彙から局所的な意味ラベルを付加した自然なシーン画像の自動アノテーションフレームワークを提案する。 このフレームワークは、自然な場面では、中間的な意味概念が局所的なキーポイントと相関していると仮定する仮説に基づいている。 この仮説に基づいて、画像領域をBOWモデルで効率よく表現し、SVMのような機械学習アプローチを使用して、セマンティックアノテーションで画像領域をラベル付けすることができる。
  論文  参考訳（メタデータ） (2022-10-17T12:57:51Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• A Simple Baseline for Zero-shot Semantic Segmentation with Pre-trained Vision-language Model [61.58071099082296]
  オブジェクト検出やセマンティックセグメンテーションといった、より広範な視覚問題に対して、ゼロショット認識をどのようにうまく機能させるかは定かではない。 本稿では,既訓練の視覚言語モデルであるCLIPを用いて,ゼロショットセマンティックセマンティックセマンティックセマンティクスを構築することを目的とした。 実験結果から, この単純なフレームワークは, 従来の最先端をはるかに上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-12-29T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。