論文の概要: DaTaSeg: Taming a Universal Multi-Dataset Multi-Task Segmentation Model

• arxiv url: http://arxiv.org/abs/2306.01736v1
• Date: Fri, 2 Jun 2023 17:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-05 13:45:25.747455
• Title: DaTaSeg: Taming a Universal Multi-Dataset Multi-Task Segmentation Model
• Title（参考訳）: DaTaSeg: ユニバーサルマルチデータセットマルチタスクセグメンテーションモデル
• Authors: Xiuye Gu, Yin Cui, Jonathan Huang, Abdullah Rashwan, Xuan Yang, Xingyi Zhou, Golnaz Ghiasi, Weicheng Kuo, Huizhong Chen, Liang-Chieh Chen, David A Ross
• Abstract要約: 本稿では,汎用マルチタスクセグメンテーションモデルDaTaSegを提案する。 すべてのタスクに共有表現(クラス予測を伴うマスク提案)を使用します。 また、弱いスーパービジョンを活用し、セグメンテーションモデルはより安価なバウンディングボックスアノテーションの恩恵を受けることができます。
• 参考スコア（独自算出の注目度）: 42.49953563682122
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Observing the close relationship among panoptic, semantic and instance segmentation tasks, we propose to train a universal multi-dataset multi-task segmentation model: DaTaSeg.We use a shared representation (mask proposals with class predictions) for all tasks. To tackle task discrepancy, we adopt different merge operations and post-processing for different tasks. We also leverage weak-supervision, allowing our segmentation model to benefit from cheaper bounding box annotations. To share knowledge across datasets, we use text embeddings from the same semantic embedding space as classifiers and share all network parameters among datasets. We train DaTaSeg on ADE semantic, COCO panoptic, and Objects365 detection datasets. DaTaSeg improves performance on all datasets, especially small-scale datasets, achieving 54.0 mIoU on ADE semantic and 53.5 PQ on COCO panoptic. DaTaSeg also enables weakly-supervised knowledge transfer on ADE panoptic and Objects365 instance segmentation. Experiments show DaTaSeg scales with the number of training datasets and enables open-vocabulary segmentation through direct transfer. In addition, we annotate an Objects365 instance segmentation set of 1,000 images and will release it as a public benchmark.
• Abstract（参考訳）: そこで本研究では,全タスクに対して共有表現(クラス予測付きマスク提案)を用いるマルチタスクセグメンテーションモデル(DaTaSeg)をトレーニングすることを提案する。 タスクの不一致に対処するため、異なるタスクに対して異なるマージ操作と後処理を採用する。 セグメンテーションモデルがより安価なバウンディングボックスアノテーションの恩恵を受けられるように、弱いスーパービジョンも活用しています。 データセット間で知識を共有するために、同じセマンティックな埋め込み空間からテキストを埋め込み、データセット間ですべてのネットワークパラメータを共有する。 ADEセマンティック、COCOパノプティクス、Objects365検出データセットに基づいてDaTaSegをトレーニングします。 DaTaSegは、すべてのデータセット、特に小規模データセットのパフォーマンスを改善し、ADEセマンティック上で54.0 mIoU、COCOパノプティクス上で53.5 PQを達成した。 DaTaSegはADEとObjects365インスタンスのセグメンテーションにおいて、弱い教師付き知識転送を可能にする。 実験では、トレーニングデータセットの数によるdatasegスケールを示し、直接転送によるオープンボキャブラリセグメンテーションを可能にする。 さらに、object365インスタンスセグメンテーションセットに1000イメージをアノテートし、公開ベンチマークとしてリリースします。

関連論文リスト

• OMG-Seg: Is One Model Good Enough For All Segmentation? [83.17068644513144]
  OMG-Segは、タスク固有のクエリと出力を持つトランスフォーマーベースのエンコーダデコーダアーキテクチャである。 OMG-Segは10以上の異なるセグメンテーションタスクをサポートできるが、計算とパラメータのオーバーヘッドを大幅に削減できることを示す。
  論文  参考訳（メタデータ） (2024-01-18T18:59:34Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• ScaleDet: A Scalable Multi-Dataset Object Detector [40.08148347029028]
  本稿では、データセット間の一般化をスケールアップできるスケーラブルなマルチデータセット検出器(ScaleDet)を提案する。 LVISは50.7、COCOは58.8、Objects365は46.8、OpenImagesは76.2、ODinWは71.8である。
  論文  参考訳（メタデータ） (2023-06-08T00:57:09Z)
• AIMS: All-Inclusive Multi-Level Segmentation [93.5041381700744]
  視覚領域を3つのレベル(パート、エンティティ、リレーション)に分割するタスクであるAll-Inclusive Multi-Level(AIMS)を提案する。 また、アノテーションの不整合とタスク相関の2つの大きな課題に対処するために、マルチデータセットのマルチタスクトレーニングを通じて統合されたAIMSモデルを構築します。
  論文  参考訳（メタデータ） (2023-05-28T16:28:49Z)
• Label Name is Mantra: Unifying Point Cloud Segmentation across Heterogeneous Datasets [17.503843467554592]
  本稿では,異なるラベル集合を持つ異種データセットからの学習を支援する原理的アプローチを提案する。 我々の考えは、学習済みの言語モデルを用いて、ラベル名を用いて離散ラベルを連続的な潜在空間に埋め込むことである。 私たちのモデルは最先端の技術を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-03-19T06:14:22Z)
• Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
  ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。 これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。 結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-02-04T07:19:09Z)
• Semi-supervised Multi-task Learning for Semantics and Depth [88.77716991603252]
  MTL(Multi-Task Learning)は、関連するタスク間で表現を共有することで、モデル一般化を強化することを目的としている。 そこで本研究では,異なるデータセットから利用可能な監視信号を活用するために,半教師付きマルチタスク学習(MTL)手法を提案する。 本稿では,データセット間の整合性の問題を軽減するために,様々なアライメントの定式化を施したドメイン認識識別器構造を提案する。
  論文  参考訳（メタデータ） (2021-10-14T07:43:39Z)
• Cross-Dataset Collaborative Learning for Semantic Segmentation [17.55660581677053]
  我々は、Cross-Dataset Collaborative Learning (CDCL) と呼ばれる、単純で柔軟で汎用的なセマンティックセグメンテーション手法を提案する。 複数のラベル付きデータセットを付与することで、各データセット上の特徴表現の一般化と識別を改善することを目指しています。 単一データセットとクロスデータセットの設定で,Cityscapes,BDD100K,CamVid,COCO Stuffという4つの多様なデータセットに対して,広範な評価を行う。
  論文  参考訳（メタデータ） (2021-03-21T09:59:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。