論文の概要: Resolving Inconsistent Semantics in Multi-Dataset Image Segmentation
- arxiv url: http://arxiv.org/abs/2409.09893v1
- Date: Sun, 15 Sep 2024 23:18:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 17:00:44.982428
- Title: Resolving Inconsistent Semantics in Multi-Dataset Image Segmentation
- Title(参考訳): マルチデータセット画像分割における一貫性のないセマンティクスの解消
- Authors: Qilong Zhangli, Di Liu, Abhishek Aich, Dimitris Metaxas, Samuel Schulter,
- Abstract要約: クラス名とラベル空間固有のクエリの埋め込みを言語ベースで組み込んだ,シンプルで効果的なマルチデータセット学習手法を提案する。
本手法は,トレーニングデータセット間の不整合に拘わらず,高い性能を維持している。
- 参考スコア(独自算出の注目度): 13.128217327234344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging multiple training datasets to scale up image segmentation models is beneficial for increasing robustness and semantic understanding. Individual datasets have well-defined ground truth with non-overlapping mask layouts and mutually exclusive semantics. However, merging them for multi-dataset training disrupts this harmony and leads to semantic inconsistencies; for example, the class "person" in one dataset and class "face" in another will require multilabel handling for certain pixels. Existing methods struggle with this setting, particularly when evaluated on label spaces mixed from the individual training sets. To overcome these issues, we introduce a simple yet effective multi-dataset training approach by integrating language-based embeddings of class names and label space-specific query embeddings. Our method maintains high performance regardless of the underlying inconsistencies between training datasets. Notably, on four benchmark datasets with label space inconsistencies during inference, we outperform previous methods by 1.6% mIoU for semantic segmentation, 9.1% PQ for panoptic segmentation, 12.1% AP for instance segmentation, and 3.0% in the newly proposed PIQ metric.
- Abstract(参考訳): 複数のトレーニングデータセットを活用してイメージセグメンテーションモデルをスケールアップすることは、堅牢性とセマンティック理解を高める上で有用である。
個々のデータセットは、重複しないマスクレイアウトと相互に排他的な意味を持つ、明確に定義された真実を持っている。
しかし、これらをマルチデータセットトレーニングにマージすることは、この調和を阻害し、セマンティックな矛盾をもたらす。例えば、あるデータセットの"person"クラスと別のデータセットの"face"クラスは、特定のピクセルに対するマルチラベル処理を必要とする。
既存の手法は、特に個々のトレーニングセットから混合されたラベル空間で評価する場合、この設定に苦慮する。
これらの課題を克服するために、クラス名とラベル空間固有のクエリ埋め込みの言語ベースの埋め込みを統合することで、シンプルで効果的なマルチデータセットトレーニング手法を導入する。
本手法は,トレーニングデータセット間の不整合に拘わらず,高い性能を維持している。
特に、推論中にラベル空間の不整合を持つ4つのベンチマークデータセットでは、セマンティックセグメンテーションの1.6% mIoU、パン光学セグメンテーションの9.1% PQ、インスタンスセグメンテーションの12.1% AP、新たに提案されたPIQメトリックの3.0%よりも優れていた。
関連論文リスト
- MixReorg: Cross-Modal Mixed Patch Reorganization is a Good Mask Learner
for Open-World Semantic Segmentation [110.09800389100599]
セマンティックセグメンテーションのための新鮮で簡単な事前学習パラダイムであるMixReorgを提案する。
我々のアプローチは、パッチとテキストの対応を保ちながら、画像パッチを混合することで、きめ細かいパッチテキストペアデータを生成することである。
マスク学習者としてMixReorgを使用することで、従来のテキスト教師付きセマンティックセマンティックセマンティックモデルは、非常に一般化可能なピクセル・セマンティックアライメントを実現することができる。
論文 参考訳(メタデータ) (2023-08-09T09:35:16Z) - Semantic Segmentation with Active Semi-Supervised Representation
Learning [23.79742108127707]
我々はラベル付きデータよりもはるかに少ない効果的なセマンティックセグメンテーションアルゴリズムを訓練する。
半教師あり学習のための平均教師アプローチを自己学習アプローチに置き換えることで、従来のS4ALアルゴリズムを拡張した。
セマンティックセグメンテーションのためのアクティブラーニングのためのデファクト標準であるCamVidおよびCityScapesデータセットについて,本手法の評価を行った。
論文 参考訳(メタデータ) (2022-10-16T00:21:43Z) - LESS: Label-Efficient Semantic Segmentation for LiDAR Point Clouds [62.49198183539889]
我々は,LiDAR点雲を用いた屋外シーンのためのラベル効率のよいセマンティックセマンティックセマンティクスパイプラインを提案する。
本手法は,半弱教師付き学習を用いて,効率的なラベリング手法を設計する。
提案手法は,100%ラベル付き完全教師付き手法と比較して,さらに競争力が高い。
論文 参考訳(メタデータ) (2022-10-14T19:13:36Z) - Cooperative Self-Training for Multi-Target Adaptive Semantic
Segmentation [26.79776306494929]
複数のドメイン固有分類器間の協調を誘導するために擬似ラベルを用いた自己学習戦略を提案する。
我々は、自己学習の不可欠な部分を形成する画像ビューを生成する効率的な方法として、特徴スタイリングを採用している。
論文 参考訳(メタデータ) (2022-10-04T13:03:17Z) - Learning Semantic Segmentation from Multiple Datasets with Label Shifts [101.24334184653355]
本論文では,ラベル空間が異なる複数のデータセットを対象としたモデルの自動学習手法であるUniSegを提案する。
具体的には,ラベルの相反と共起を考慮に入れた2つの損失を提案する。
論文 参考訳(メタデータ) (2022-02-28T18:55:19Z) - Scaling up Multi-domain Semantic Segmentation with Sentence Embeddings [81.09026586111811]
ゼロショット設定に適用した場合、最先端の教師付き性能を実現するセマンティックセマンティックセマンティクスへのアプローチを提案する。
これは各クラスラベルを、クラスを記述する短い段落のベクトル値の埋め込みに置き換えることによって達成される。
結果として得られた200万以上の画像の統合セマンティックセグメンテーションデータセットは、7つのベンチマークデータセット上の最先端の教師付きメソッドと同等のパフォーマンスを達成するモデルをトレーニングすることができる。
論文 参考訳(メタデータ) (2022-02-04T07:19:09Z) - Multi-domain semantic segmentation with overlapping labels [1.4120796122384087]
本稿では,部分ラベルと確率的損失に基づいて重なり合うクラスを持つデータセットをシームレスに学習する手法を提案する。
本手法は,トレーニングデータセットに別々にラベル付けされていない視覚概念を学習すると同時に,競合するデータセット内およびクロスデータセットの一般化を実現する。
論文 参考訳(メタデータ) (2021-08-25T13:25:41Z) - Multi-dataset Pretraining: A Unified Model for Semantic Segmentation [97.61605021985062]
我々は、異なるデータセットの断片化アノテーションを最大限に活用するために、マルチデータセット事前訓練と呼ばれる統合フレームワークを提案する。
これは、複数のデータセットに対して提案されたピクセルからプロトタイプへのコントラスト損失を通じてネットワークを事前トレーニングすることで実現される。
異なるデータセットからの画像とクラス間の関係をより良くモデル化するために、クロスデータセットの混合によりピクセルレベルの埋め込みを拡張する。
論文 参考訳(メタデータ) (2021-06-08T06:13:11Z) - A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。
事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。
本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
論文 参考訳(メタデータ) (2021-04-21T14:34:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。