論文の概要: SegGPT: Segmenting Everything In Context
- arxiv url: http://arxiv.org/abs/2304.03284v1
- Date: Thu, 6 Apr 2023 17:59:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-07 12:57:11.964681
- Title: SegGPT: Segmenting Everything In Context
- Title(参考訳): SegGPT: コンテキスト内のすべてのセグメンテーション
- Authors: Xinlong Wang, Xiaosong Zhang, Yue Cao, Wen Wang, Chunhua Shen, Tiejun
Huang
- Abstract要約: コンテキスト内ですべてをセグメント化するモデルであるSegGPTを提示する。
様々なセグメンテーションタスクを汎用的なインコンテキスト学習フレームワークに統合する。
SegGPTは、コンテクスト内推論を通じて、画像やビデオの任意のセグメンテーションタスクを実行することができる。
- 参考スコア(独自算出の注目度): 98.98487097934067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present SegGPT, a generalist model for segmenting everything in context.
We unify various segmentation tasks into a generalist in-context learning
framework that accommodates different kinds of segmentation data by
transforming them into the same format of images. The training of SegGPT is
formulated as an in-context coloring problem with random color mapping for each
data sample. The objective is to accomplish diverse tasks according to the
context, rather than relying on specific colors. After training, SegGPT can
perform arbitrary segmentation tasks in images or videos via in-context
inference, such as object instance, stuff, part, contour, and text. SegGPT is
evaluated on a broad range of tasks, including few-shot semantic segmentation,
video object segmentation, semantic segmentation, and panoptic segmentation.
Our results show strong capabilities in segmenting in-domain and out-of-domain
targets, either qualitatively or quantitatively.
- Abstract(参考訳): 我々は、コンテキスト内ですべてをセグメント化する汎用モデルであるSegGPTを提案する。
我々は、様々なセグメンテーションタスクを、画像の同じフォーマットに変換することで、さまざまなセグメンテーションデータに対応する汎用的なインコンテキスト学習フレームワークに統一する。
SegGPTのトレーニングは、各データサンプルに対するランダムな色マッピングによるコンテキスト内着色問題として定式化される。
目的は、特定の色に頼るのではなく、コンテキストに応じて多様なタスクを実現することです。
トレーニング後、SegGPTはオブジェクトインスタンス、物、部分、輪郭、テキストなどのコンテキスト内推論を通じて、画像やビデオの任意のセグメンテーションタスクを実行することができる。
SegGPTは、少数ショットセマンティックセグメンテーション、ビデオオブジェクトセグメンテーション、セマンティックセグメンテーション、パン光学セグメンテーションなど、幅広いタスクで評価されている。
その結果、ドメイン内およびドメイン外ターゲットを定性的または定量的にセグメンテーションする能力が向上した。
関連論文リスト
- USE: Universal Segment Embeddings for Open-Vocabulary Image Segmentation [33.11010205890195]
オープン語彙のイメージセグメンテーションにおける大きな課題は、これらのセグメンテーションをテキスト定義カテゴリに正確に分類することにある。
この課題に対処するために、Universal Segment Embedding(USE)フレームワークを紹介します。
本フレームワークは,1)大量のセグメントテキストペアを様々な粒度で効率的にキュレートするように設計されたデータパイプライン,2)テキスト定義のカテゴリに精度の高いセグメント分類を可能にする普遍的なセグメント埋め込みモデルからなる。
論文 参考訳(メタデータ) (2024-06-07T21:41:18Z) - Unsupervised Universal Image Segmentation [59.0383635597103]
本稿では,Unsupervised Universal Model (U2Seg) を提案する。
U2Segは、自己教師付きモデルを利用して、これらのセグメンテーションタスクの擬似意味ラベルを生成する。
次に、これらの擬似意味ラベル上でモデルを自己学習し、かなりの性能向上をもたらす。
論文 参考訳(メタデータ) (2023-12-28T18:59:04Z) - SAMBA: A Trainable Segmentation Web-App with Smart Labelling [0.0]
SAMBAは、高速で高品質なラベル提案にMetaのSegment Anything Model(SAM)を使用するトレーニング可能なセグメンテーションツールである。
セグメンテーションバックエンドはクラウドで動作するため、ユーザは強力なハードウェアを必要としない。
論文 参考訳(メタデータ) (2023-12-07T10:31:05Z) - SEGIC: Unleashing the Emergent Correspondence for In-Context Segmentation [87.18373801829314]
In-context segmentationは、"in-context example"と呼ばれるいくつかのラベル付きサンプルイメージを使用して、新しいイメージをセグメント化することを目的としている。
単一ビジョン基盤モデル(VFM)に基づくエンドツーエンドのセグメンテーション・イン・コンテクストフレームワークSEGICを提案する。
SEGICは、ワンショットセグメンテーションベンチマークで最先端のパフォーマンスをもたらす、単純だが効果的なアプローチである。
論文 参考訳(メタデータ) (2023-11-24T18:59:42Z) - Hierarchical Open-vocabulary Universal Image Segmentation [48.008887320870244]
Open-vocabulary Image segmentationは、任意のテキスト記述に従ってイメージをセマンティック領域に分割することを目的としている。
我々は,「モノ」と「スタッフ」の双方に対して,分離されたテキストイメージ融合機構と表現学習モジュールを提案する。
HIPIE tackles, HIerarchical, oPen-vocabulary, unIvErsal segmentation task in a unified framework。
論文 参考訳(メタデータ) (2023-07-03T06:02:15Z) - Segment Everything Everywhere All at Once [124.90835636901096]
画像中のすべてのものを同時にセグメント化するための,迅速かつインタラクティブなモデルであるSEEMを提案する。
そこで本研究では,あらゆるタイプのセグメンテーションタスクに対して,多様なプロンプトを可能にする新しい復号化機構を提案する。
多様なセグメンテーションタスクにおけるSEEMの有効性を検証するための総合的な実証的研究を行った。
論文 参考訳(メタデータ) (2023-04-13T17:59:40Z) - Structured Summarization: Unified Text Segmentation and Segment Labeling
as a Generation Task [16.155438404910043]
長い文書や会話を処理できる1つのエンコーダ・デコーダニューラルネットワークを提案する。
我々は、組み合わせたタスクを純粋な生成タスクとして解決する方法をうまく示す。
本結果は,テキストのセグメンテーションとセグメントラベリングを全体として検討する上で,強力なケースを確立した。
論文 参考訳(メタデータ) (2022-09-28T01:08:50Z) - Open-world Semantic Segmentation via Contrasting and Clustering
Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。
提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文 参考訳(メタデータ) (2022-07-18T09:20:04Z) - Learning Panoptic Segmentation from Instance Contours [9.347742071428918]
Panopticpixel は、背景 (stuff) とオブジェクト (things) のインスタンスをピクセルレベルで理解することを目的としている。
セマンティックセグメンテーション(レベル分類)とインスタンスセグメンテーションの別々のタスクを組み合わせて、単一の統合されたシーン理解タスクを構築する。
セマンティックセグメンテーションとインスタンス輪郭からインスタンスセグメンテーションを学習する完全畳み込みニューラルネットワークを提案する。
論文 参考訳(メタデータ) (2020-10-16T03:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。