論文の概要: USE: Universal Segment Embeddings for Open-Vocabulary Image Segmentation

• arxiv url: http://arxiv.org/abs/2406.05271v1
• Date: Fri, 7 Jun 2024 21:41:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 20:34:04.683616
• Title: USE: Universal Segment Embeddings for Open-Vocabulary Image Segmentation
• Title（参考訳）: USE:Open-Vocabulary Image Segmentationのためのユニバーサルセグメント埋め込み
• Authors: Xiaoqi Wang, Wenbin He, Xiwei Xuan, Clint Sebastian, Jorge Piazentin Ono, Xin Li, Sima Behpour, Thang Doan, Liang Gou, Han Wei Shen, Liu Ren,
• Abstract要約: オープン語彙のイメージセグメンテーションにおける大きな課題は、これらのセグメンテーションをテキスト定義カテゴリに正確に分類することにある。 この課題に対処するために、Universal Segment Embedding(USE)フレームワークを紹介します。 本フレームワークは,1)大量のセグメントテキストペアを様々な粒度で効率的にキュレートするように設計されたデータパイプライン,2)テキスト定義のカテゴリに精度の高いセグメント分類を可能にする普遍的なセグメント埋め込みモデルからなる。
• 参考スコア（独自算出の注目度）: 33.11010205890195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The open-vocabulary image segmentation task involves partitioning images into semantically meaningful segments and classifying them with flexible text-defined categories. The recent vision-based foundation models such as the Segment Anything Model (SAM) have shown superior performance in generating class-agnostic image segments. The main challenge in open-vocabulary image segmentation now lies in accurately classifying these segments into text-defined categories. In this paper, we introduce the Universal Segment Embedding (USE) framework to address this challenge. This framework is comprised of two key components: 1) a data pipeline designed to efficiently curate a large amount of segment-text pairs at various granularities, and 2) a universal segment embedding model that enables precise segment classification into a vast range of text-defined categories. The USE model can not only help open-vocabulary image segmentation but also facilitate other downstream tasks (e.g., querying and ranking). Through comprehensive experimental studies on semantic segmentation and part segmentation benchmarks, we demonstrate that the USE framework outperforms state-of-the-art open-vocabulary segmentation methods.
• Abstract（参考訳）: オープン語彙のイメージセグメンテーションタスクでは、イメージを意味のあるセグメントに分割し、柔軟なテキスト定義カテゴリで分類する。 SAM(Seegment Anything Model)のような近年のビジョンベース基盤モデルは、クラス非依存の画像セグメントの生成において優れた性能を示している。 オープン語彙のイメージセグメンテーションにおける大きな課題は、これらのセグメンテーションをテキスト定義カテゴリに正確に分類することにある。 本稿では,この課題に対処するユニバーサルセグメンテーション(USE)フレームワークを紹介する。 このフレームワークは2つの重要なコンポーネントで構成されています。 1)大量のセグメントテキストペアを様々な粒度で効率よくキュレートするように設計されたデータパイプライン 2) 幅広いテキスト定義カテゴリに精度の高いセグメント分類を可能にするユニバーサルセグメント埋め込みモデル。 USEモデルは、オープン語彙のイメージセグメンテーションに役立つだけでなく、他の下流タスク(例えば、クエリやランキング)にも役立ちます。 セマンティックセグメンテーションと部分セグメンテーションのベンチマークに関する総合的な実験を通じて、USEフレームワークは最先端のオープンボキャブラリセグメンテーション法より優れていることを示した。

関連論文リスト

• Image Segmentation in Foundation Model Era: A Survey [99.19456390358211]
  イメージセグメンテーションにおける現在の研究は、これらの進歩に関連する特徴、課題、解決策の詳細な分析を欠いている。 本調査は、FM駆動画像セグメンテーションを中心とした最先端の研究を徹底的にレビューすることで、このギャップを埋めようとしている。 現在の研究成果の広さを包括する,300以上のセグメンテーションアプローチの概要を概観する。
  論文  参考訳（メタデータ） (2024-08-23T10:07:59Z)
• From Text Segmentation to Smart Chaptering: A Novel Benchmark for Structuring Video Transcriptions [63.11097464396147]
  音声コンテンツに焦点をあてた新しいベンチマークYTSegを導入し、その内容は本質的に非構造的であり、トポロジと構造的にも多様である。 また,高効率な階層分割モデルMiniSegを導入する。
  論文  参考訳（メタデータ） (2024-02-27T15:59:37Z)
• Text and Click inputs for unambiguous open vocabulary instance segmentation [21.03169732771627]
  そこで本研究では,画像入力としてモデルが取る新たなセグメンテーションプロセスであるText + Clickと,セグメンテーションにクラスを記述するテキストフレーズと,セグメンテーションにインスタンスを指定する1つのフォアグラウンドクリックを提案する。 ユーザが指定した1つのフォアグラウンドクリックとテキストプロンプトを組み合わせることで、モデルの重複や共起のセマンティックカテゴリをより曖昧にすることができることを示す。
  論文  参考訳（メタデータ） (2023-11-24T19:37:57Z)
• Hierarchical Open-vocabulary Universal Image Segmentation [48.008887320870244]
  Open-vocabulary Image segmentationは、任意のテキスト記述に従ってイメージをセマンティック領域に分割することを目的としている。 我々は,「モノ」と「スタッフ」の双方に対して,分離されたテキストイメージ融合機構と表現学習モジュールを提案する。 HIPIE tackles, HIerarchical, oPen-vocabulary, unIvErsal segmentation task in a unified framework。
  論文  参考訳（メタデータ） (2023-07-03T06:02:15Z)
• Diffusion Models for Open-Vocabulary Segmentation [79.02153797465324]
  OVDiffは、教師なしオープン語彙セグメンテーションに生成テキストから画像への拡散モデルを利用する新しい手法である。 トレーニング済みのコンポーネントのみに依存し、トレーニングなしで合成セグメンタを直接出力する。
  論文  参考訳（メタデータ） (2023-06-15T17:51:28Z)
• FreeSeg: Unified, Universal and Open-Vocabulary Image Segmentation [42.89720785573885]
  FreeSegはUnified、Universal、Open-Vocabulary Imageを実現するための汎用フレームワークである。 我々は,FreeSegが3つのセグメンテーションタスクの性能と一般化に新たな成果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-03-30T08:42:49Z)
• Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
  本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。 提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
  論文  参考訳（メタデータ） (2022-07-18T09:20:04Z)
• SCNet: Enhancing Few-Shot Semantic Segmentation by Self-Contrastive Background Prototypes [56.387647750094466]
  Few-shot セマンティックセマンティックセマンティクスは,クエリイメージ内の新規クラスオブジェクトを,アノテーション付きの例で分割することを目的としている。 先進的なソリューションのほとんどは、各ピクセルを学習した前景のプロトタイプに合わせることでセグメンテーションを行うメトリクス学習フレームワークを利用している。 このフレームワークは、前景プロトタイプのみとのサンプルペアの不完全な構築のために偏った分類に苦しんでいます。
  論文  参考訳（メタデータ） (2021-04-19T11:21:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。