Fugu-MT 論文翻訳(概要): LMSeg: Language-guided Multi-dataset Segmentation

論文の概要: LMSeg: Language-guided Multi-dataset Segmentation

arxiv url: http://arxiv.org/abs/2302.13495v1
Date: Mon, 27 Feb 2023 03:43:03 GMT
ステータス: 処理完了
システム内更新日: 2023-02-28 16:50:18.678530
Title: LMSeg: Language-guided Multi-dataset Segmentation
Title（参考訳）: LMSeg: 言語誘導型マルチデータセットセグメンテーション
Authors: Qiang Zhou, Yuang Liu, Chaohui Yu, Jingliang Li, Zhibin Wang, Fan Wang
Abstract要約: 我々はLMSegと呼ばれる言語誘導型マルチデータセットフレームワークを提案し、セマンティックとパンプトのセグメンテーションの両方をサポートしている。 LMSegは、柔軟性のない1ホットラベルを使用する代わりに、カテゴリ名をテキスト埋め込みスペースに統一された分類としてマッピングする。実験により,本手法は4つのセグメンテーションデータセットと3つのパノプティックセグメンテーションデータセットに対して有意な改善が得られた。
参考スコア（独自算出の注目度）: 15.624630978858324
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It's a meaningful and attractive topic to build a general and inclusive segmentation model that can recognize more categories in various scenarios. A straightforward way is to combine the existing fragmented segmentation datasets and train a multi-dataset network. However, there are two major issues with multi-dataset segmentation: (1) the inconsistent taxonomy demands manual reconciliation to construct a unified taxonomy; (2) the inflexible one-hot common taxonomy causes time-consuming model retraining and defective supervision of unlabeled categories. In this paper, we investigate the multi-dataset segmentation and propose a scalable Language-guided Multi-dataset Segmentation framework, dubbed LMSeg, which supports both semantic and panoptic segmentation. Specifically, we introduce a pre-trained text encoder to map the category names to a text embedding space as a unified taxonomy, instead of using inflexible one-hot label. The model dynamically aligns the segment queries with the category embeddings. Instead of relabeling each dataset with the unified taxonomy, a category-guided decoding module is designed to dynamically guide predictions to each datasets taxonomy. Furthermore, we adopt a dataset-aware augmentation strategy that assigns each dataset a specific image augmentation pipeline, which can suit the properties of images from different datasets. Extensive experiments demonstrate that our method achieves significant improvements on four semantic and three panoptic segmentation datasets, and the ablation study evaluates the effectiveness of each component.
Abstract（参考訳）: さまざまなシナリオでより多くのカテゴリを認識できる汎用的で包括的なセグメンテーションモデルを構築する上で、意味があり魅力的なトピックです。簡単な方法は、既存の断片化されたセグメンテーションデータセットを結合し、マルチデータセットネットワークをトレーニングすることだ。しかし、マルチデータセットのセグメンテーションには、2つの大きな問題がある: (1) 一貫性のない分類学は統一分類学を構築するために手動の和解を要求する; (2) 柔軟性のない1つのホットな共通分類学は、ラベルなしの分類の時間消費モデルの再訓練と欠陥の監督を引き起こす。本稿では,マルチデータセットのセグメンテーションを調査し,lmsegと呼ばれるスケーラブルな言語誘導型マルチデータセットセグメンテーションフレームワークを提案し,セグメンテーションとpanopticセグメンテーションの両方をサポートする。具体的には,既熟なテキストエンコーダを導入することで,フレキシブルなワンホットラベルではなく,カテゴリ名をテキスト埋め込み空間に統一分類法としてマッピングする。モデルはセグメントクエリをカテゴリ埋め込みと動的に整列する。各データセットに統一された分類を組み込む代わりに、カテゴリ誘導デコードモジュールは、各データセットの分類に予測を動的に導くように設計されている。さらに、各データセットに特定の画像拡張パイプラインを割り当て、異なるデータセットの画像の特性に適合するデータセット対応拡張戦略を採用する。広範な実験により,4つの意味セマンティクスと3つのパンオプティカルセグメンテーションデータセットに有意な改善が得られ,各成分の有効性を評価した。

関連論文リスト

Label Sharing Incremental Learning Framework for Independent Multi-Label Segmentation Tasks [0.0]
複数のデータセットに対してセグメンテーションモデルを構築する必要がある環境では、それぞれが対応するラベルセットを持つ。本研究では,共有ラベル空間を構築し,各ラベル集合を共通ラベルに体系的にマッピングする新しいラベル共有フレームワークを提案する。本手法は,多ラベルセグメンテーションを含む各種医用画像セグメンテーションデータセットを用いて実験的に検証する。
論文参考訳（メタデータ） (2024-11-17T15:50:25Z)
TMT-VIS: Taxonomy-aware Multi-dataset Joint Training for Video Instance Segmentation [48.75470418596875]
大規模データセットのトレーニングは、ビデオインスタンスセグメンテーションのパフォーマンスを高めることができるが、VISのデータセットは労働コストが高いためスケールアップが難しい。私たちが持っているものは、多数の独立した提出された特定のデータセットであり、データ量と多様性を高めるためにデータセットの集合をまたいだモデルを共同でトレーニングすることが魅力です。我々は、YouTube-VIS 2019、YouTube-VIS 2021、OVIS、UVOの4つの人気で挑戦的なベンチマークで、広範囲に評価を行っている。本モデルでは,ベースラインソリューションよりも大幅に改善され,すべてのベンチマークで新たな最先端レコードが設定される。
論文参考訳（メタデータ） (2023-12-11T18:50:09Z)
Open-world Semantic Segmentation via Contrasting and Clustering Vision-Language Embedding [95.78002228538841]
本研究では,様々なオープンワールドカテゴリのセマンティックオブジェクトを高密度アノテーションを使わずにセマンティックオブジェクトのセマンティックオブジェクトのセマンティック化を学習するための,新しいオープンワールドセマンティックセマンティックセマンティックセマンティクスパイプラインを提案する。提案手法は任意のカテゴリのオブジェクトを直接分割し、3つのベンチマークデータセット上でデータラベリングを必要とするゼロショットセグメンテーション法より優れている。
論文参考訳（メタデータ） (2022-07-18T09:20:04Z)
Automatic universal taxonomies for multi-domain semantic segmentation [1.4364491422470593]
複数のデータセットに対するセマンティックセグメンテーションモデルのトレーニングは、コンピュータビジョンコミュニティに最近多くの関心を呼んだ。確立されたデータセットには互いに互換性のないラベルがあります野生の原理的推論を妨害します我々は、反復的データセット統合による普遍的な構築によってこの問題に対処する。
論文参考訳（メタデータ） (2022-07-18T08:53:17Z)
Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
論文参考訳（メタデータ） (2022-02-04T07:19:09Z)
MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
論文参考訳（メタデータ） (2021-12-27T16:16:35Z)
Simple multi-dataset detection [83.9604523643406]
複数の大規模データセット上で統合検出器を訓練する簡単な方法を提案する。データセット固有のアウトプットを共通の意味分類に自動的に統合する方法を示す。私たちのアプローチは手動の分類学の調整を必要としません。
論文参考訳（メタデータ） (2021-02-25T18:55:58Z)
Minimally-Supervised Structure-Rich Text Categorization via Learning on Text-Rich Networks [61.23408995934415]
テキストリッチネットワークから学習することで,最小限に教師付き分類を行う新しいフレームワークを提案する。具体的には、テキスト理解のためのテキスト解析モジュールと、クラス差別的でスケーラブルなネットワーク学習のためのネットワーク学習モジュールの2つのモジュールを共同でトレーニングします。実験の結果,1つのカテゴリに3つのシード文書しか与えられず,その精度は約92%であった。
論文参考訳（メタデータ） (2021-02-23T04:14:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。