論文の概要: MSeg: A Composite Dataset for Multi-domain Semantic Segmentation
- arxiv url: http://arxiv.org/abs/2112.13762v1
- Date: Mon, 27 Dec 2021 16:16:35 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-28 17:23:15.348391
- Title: MSeg: A Composite Dataset for Multi-domain Semantic Segmentation
- Title（参考訳）: MSeg: マルチドメインセマンティックセグメンテーションのための複合データセット
- Authors: John Lambert, Zhuang Liu, Ozan Sener, James Hays, Vladlen Koltun
- Abstract要約: セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。
一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。
MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
- 参考スコア（独自算出の注目度）: 100.17755160696939
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present MSeg, a composite dataset that unifies semantic segmentation
datasets from different domains. A naive merge of the constituent datasets
yields poor performance due to inconsistent taxonomies and annotation
practices. We reconcile the taxonomies and bring the pixel-level annotations
into alignment by relabeling more than 220,000 object masks in more than 80,000
images, requiring more than 1.34 years of collective annotator effort. The
resulting composite dataset enables training a single semantic segmentation
model that functions effectively across domains and generalizes to datasets
that were not seen during training. We adopt zero-shot cross-dataset transfer
as a benchmark to systematically evaluate a model's robustness and show that
MSeg training yields substantially more robust models in comparison to training
on individual datasets or naive mixing of datasets without the presented
contributions. A model trained on MSeg ranks first on the WildDash-v1
leaderboard for robust semantic segmentation, with no exposure to WildDash data
during training. We evaluate our models in the 2020 Robust Vision Challenge
(RVC) as an extreme generalization experiment. MSeg training sets include only
three of the seven datasets in the RVC; more importantly, the evaluation
taxonomy of RVC is different and more detailed. Surprisingly, our model shows
competitive performance and ranks second. To evaluate how close we are to the
grand aim of robust, efficient, and complete scene understanding, we go beyond
semantic segmentation by training instance segmentation and panoptic
segmentation models using our dataset. Moreover, we also evaluate various
engineering design decisions and metrics, including resolution and
computational efficiency. Although our models are far from this grand aim, our
comprehensive evaluation is crucial for progress. We share all the models and
code with the community.
- Abstract（参考訳）: セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。
構成データセットのナイーブなマージは、一貫性のない分類とアノテーションのプラクティスのためにパフォーマンスが低下する。
我々は分類学を精査し、20万枚以上のオブジェクトマスクを8万枚以上の画像で再現することでピクセルレベルのアノテーションを調整し、1.34年以上のアノテータの努力を要する。
その結果得られた複合データセットは、ドメイン間で効果的に機能し、トレーニング中に見えないデータセットに一般化する単一の意味セグメンテーションモデルのトレーニングを可能にする。
モデルのロバスト性を体系的に評価するベンチマークとしてゼロショットクロスデータセット転送を採用し、MSegトレーニングは、個々のデータセットのトレーニングや、提案されたコントリビューションを伴わないデータセットの単純混合と比較して、よりロバストなモデルを生成することを示す。
MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
我々は,2020年のロバスト・ビジョン・チャレンジ(RVC)で,このモデルを極端な一般化実験として評価した。
MSegトレーニングセットには、RVCの7つのデータセットのうち3つしか含まれていない。
驚いたことに、私たちのモデルは競争力のあるパフォーマンスを示し、ランキング2位です。
堅牢で効率的、かつ完全なシーン理解という大きな目標にどれほど近いかを評価するため、データセットを使用してインスタンスセグメンテーションとpanopticセグメンテーションモデルをトレーニングすることで、セマンティックセグメンテーションを超えていきます。
さらに,解決法や計算効率など,様々な工学的設計判断や指標についても評価した。
私たちのモデルは、この大きな目標には程遠いが、進歩には総合的な評価が不可欠である。
すべてのモデルとコードをコミュニティと共有しています。
関連論文リスト
- Automated Label Unification for Multi-Dataset Semantic Segmentation with GNNs [48.406728896785296]
本稿では,グラフニューラルネットワークを用いて,複数のデータセットにまたがる統一ラベル空間を自動構築する手法を提案する。
従来の手法と異なり,本手法は手動の注釈や分類の調整を必要とせず,シームレスな訓練を容易にする。
論文 参考訳（メタデータ） (2024-07-15T08:42:10Z) - TMT-VIS: Taxonomy-aware Multi-dataset Joint Training for Video Instance Segmentation [48.75470418596875]
大規模データセットのトレーニングは、ビデオインスタンスセグメンテーションのパフォーマンスを高めることができるが、VISのデータセットは労働コストが高いためスケールアップが難しい。
私たちが持っているものは、多数の独立した提出された特定のデータセットであり、データ量と多様性を高めるためにデータセットの集合をまたいだモデルを共同でトレーニングすることが魅力です。
我々は、YouTube-VIS 2019、YouTube-VIS 2021、OVIS、UVOの4つの人気で挑戦的なベンチマークで、広範囲に評価を行っている。
本モデルでは,ベースラインソリューションよりも大幅に改善され,すべてのベンチマークで新たな最先端レコードが設定される。
論文 参考訳（メタデータ） (2023-12-11T18:50:09Z) - Semantic-SAM: Segment and Recognize Anything at Any Granularity [83.64686655044765]
本稿では,任意の粒度でセグメンテーションと認識を可能にする汎用画像セグメンテーションモデルであるSemantic-SAMを紹介する。
複数のデータセットを3つの粒度に集約し、オブジェクトとパーツの分離した分類を導入する。
マルチグラニュラリティ機能を実現するために,各クリックで複数のレベルのマスクを生成できるマルチ選択学習方式を提案する。
論文 参考訳（メタデータ） (2023-07-10T17:59:40Z) - What a MESS: Multi-Domain Evaluation of Zero-Shot Semantic Segmentation [2.7036595757881323]
セマンティック(MESS)のマルチドメイン評価のためのベンチマークを構築した。
MESSは、幅広いドメイン固有のデータセットにわたるパフォーマンスの全体的な分析を可能にする。
提案したMESSベンチマークを用いて,最近発表された8つのモデルを評価し,ゼロショット転送モデルの性能評価を行った。
論文 参考訳（メタデータ） (2023-06-27T14:47:43Z) - Text2Seg: Remote Sensing Image Semantic Segmentation via Text-Guided Visual Foundation Models [7.452422412106768]
リモートセマンティックセマンティックセグメンテーションのためのText2Segという新しい手法を提案する。
自動プロンプト生成プロセスを使用することで、広範なアノテーションへの依存を克服する。
我々は,Text2SegがバニラSAMモデルと比較してゼロショット予測性能を著しく向上することを示した。
論文 参考訳（メタデータ） (2023-04-20T18:39:41Z) - An Empirical Study on Multi-Domain Robust Semantic Segmentation [42.79166534691889]
我々は、いくつかの人気セグメンテーションデータセットに基づいて、ドメイン間でうまく機能することが期待される統一モデルをトレーニングする。
RVC 2022セマンティックセマンティックセグメンテーションタスクでは,データセットは第1モデルの1/3に過ぎなかった。
論文 参考訳（メタデータ） (2022-12-08T12:04:01Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳（メタデータ） (2021-06-08T06:13:11Z) - Improving Zero and Few-Shot Abstractive Summarization with Intermediate
Fine-tuning and Data Augmentation [101.26235068460551]
大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。
モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。
我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
論文 参考訳（メタデータ） (2020-10-24T08:36:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。