論文の概要: DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer

• arxiv url: http://arxiv.org/abs/2401.12820v1
• Date: Tue, 23 Jan 2024 14:53:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 15:18:59.996525
• Title: DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer
• Title（参考訳）: DatUS^2: 事前学習型自己監督型視覚変換器を用いたデータ駆動型非教師なしセマンティックセマンティックセグメンテーション
• Authors: Sonal Kumar, Arijit Sur and Rashmi Dutta Baruah
• Abstract要約: 教師なしの密接なセマンティックセグメンテーションは下流のタスクとして研究されていない。 本稿では、下流タスクとして教師なしセマンティックセグメンテーションのための新しいデータ駆動手法を提案する。 DatUS2のベストバージョンは、教師なしの密接なセマンティックセグメンテーションタスクにおいて、既存の最先端メソッドよりも優れている。
• 参考スコア（独自算出の注目度）: 6.898332152137321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Successive proposals of several self-supervised training schemes continue to emerge, taking one step closer to developing a universal foundation model. In this process, the unsupervised downstream tasks are recognized as one of the evaluation methods to validate the quality of visual features learned with a self-supervised training scheme. However, unsupervised dense semantic segmentation has not been explored as a downstream task, which can utilize and evaluate the quality of semantic information introduced in patch-level feature representations during self-supervised training of a vision transformer. Therefore, this paper proposes a novel data-driven approach for unsupervised semantic segmentation (DatUS^2) as a downstream task. DatUS^2 generates semantically consistent and dense pseudo annotate segmentation masks for the unlabeled image dataset without using any visual-prior or synchronized data. We compare these pseudo-annotated segmentation masks with ground truth masks for evaluating recent self-supervised training schemes to learn shared semantic properties at the patch level and discriminative semantic properties at the segment level. Finally, we evaluate existing state-of-the-art self-supervised training schemes with our proposed downstream task, i.e., DatUS^2. Also, the best version of DatUS^2 outperforms the existing state-of-the-art method for the unsupervised dense semantic segmentation task with 15.02% MiOU and 21.47% Pixel accuracy on the SUIM dataset. It also achieves a competitive level of accuracy for a large-scale and complex dataset, i.e., the COCO dataset.
• Abstract（参考訳）: いくつかの自己指導型トレーニングスキームの逐次的な提案が登場し続け、普遍的な基礎モデルの開発に一歩近づいた。 このプロセスでは、教師なし下流タスクを自己教師付きトレーニングスキームで学習した視覚的特徴の品質を評価する評価方法の1つとして認識する。 しかし,視覚トランスフォーマの自己教師付き訓練中にパッチレベルの特徴表現に導入された意味情報の質を活用し,評価できる下流タスクとして,教師なしの密集した意味セグメンテーションは検討されていない。 そこで本稿では,教師なしセマンティクスセグメンテーション(datus^2)を下流タスクとして,新しいデータ駆動アプローチを提案する。 DatUS^2は、視覚的優先データや同期データを用いることなく、ラベルのない画像データセットに対して意味的に一貫性があり、密度の高い擬似アノテーションセグメンテーションマスクを生成する。 これらの疑似注釈付きセグメンテーションマスクと地上の真理マスクを比較して、最近の自己指導型トレーニングスキームを評価し、パッチレベルでの共有セグメンテーション特性とセグメントレベルでの識別的セグメンテーション特性を学習する。 最後に,提案した下流タスク,すなわちDatUS^2を用いて,最先端の自己指導型トレーニング手法の評価を行った。 また、DatUS^2の最良のバージョンは、SUIMデータセット上で15.02%のMiOUと21.47%の精度で、教師なしの密接なセマンティックセグメンテーションタスクの既存の最先端手法よりも優れている。 また、大規模で複雑なデータセット、すなわちCOCOデータセットの競合レベルの精度も達成している。

関連論文リスト

• Boosting Unsupervised Semantic Segmentation with Principal Mask Proposals [15.258631373740686]
  教師なしセマンティックセグメンテーションは、画像コーパス内のグローバルカテゴリをアノテーションなしで識別することで、画像を自動的に意味のある領域に分割することを目的としている。 特徴表現に基づいてイメージを意味的に意味のあるマスクに分解するPriMaPs - principal Mask Proposalsを提案する。 これにより、予測最大化アルゴリズムであるPriMaPs-EMを用いて、クラスプロトタイプをPriMaPsに適合させることで、教師なしセマンティックセマンティックセマンティクスを実現することができる。 PriMaPs-EMは、DINOやDINOv2など、トレーニング済みのバックボーンモデルや、CityscapesやCOCOなど、データセット間の競争結果をもたらす。
  論文  参考訳（メタデータ） (2024-04-25T17:58:09Z)
• A Lightweight Clustering Framework for Unsupervised Semantic Segmentation [28.907274978550493]
  教師なしセマンティックセグメンテーションは、注釈付きデータを用いることなく、画像の各ピクセルを対応するクラスに分類することを目的としている。 教師なしセマンティックセグメンテーションのための軽量クラスタリングフレームワークを提案する。 本フレームワークは,PASCAL VOCおよびMS COCOデータセットの最先端結果を実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:33:42Z)
• INoD: Injected Noise Discriminator for Self-Supervised Representation Learning in Agricultural Fields [6.891600948991265]
  Injected Noise Discriminator (INoD) を提案する。 INoDは、畳み込みエンコーディング中に2つの非結合データセットからフィーチャーマップをインターリーブし、結果のフィーチャーマップのデータセットアフィリエイトをプレテキストタスクとして予測する。 提案手法により、ネットワークは、あるデータセットで見られるオブジェクトの無意味な表現を学習し、解離したデータセットの類似した特徴と合わせて観察することができる。
  論文  参考訳（メタデータ） (2023-03-31T14:46:31Z)
• Semantic Segmentation with Active Semi-Supervised Representation Learning [23.79742108127707]
  我々はラベル付きデータよりもはるかに少ない効果的なセマンティックセグメンテーションアルゴリズムを訓練する。 半教師あり学習のための平均教師アプローチを自己学習アプローチに置き換えることで、従来のS4ALアルゴリズムを拡張した。 セマンティックセグメンテーションのためのアクティブラーニングのためのデファクト標準であるCamVidおよびCityScapesデータセットについて,本手法の評価を行った。
  論文  参考訳（メタデータ） (2022-10-16T00:21:43Z)
• Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation [70.2166826794421]
  本研究では、教師なしデータ拡張を行うために、微分可能な幾何ワープを提案する。 また,平均教師数を改善するために,新しい対角的二重学習フレームワークを提案する。 我々のソリューションは、両方のデータセットで得られるパフォーマンスと最先端の結果を大幅に改善します。
  論文  参考訳（メタデータ） (2022-03-05T17:36:17Z)
• Improving Semi-Supervised and Domain-Adaptive Semantic Segmentation with Self-Supervised Depth Estimation [94.16816278191477]
  本稿では,セミアダプティブなセマンティックセマンティックセマンティックセグメンテーションのためのフレームワークを提案する。 ラベルのない画像シーケンスでのみ訓練された自己教師付き単眼深度推定によって強化される。 提案したモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2021-08-28T01:33:38Z)
• Unsupervised Semantic Segmentation by Contrasting Object Mask Proposals [78.12377360145078]
  画素埋め込みを学習するために、コントラスト最適化の目的として、予め決められた事前を取り入れた新しい2段階フレームワークを導入する。 これは、プロキシタスクやエンドツーエンドのクラスタリングに依存する既存の作業から大きく逸脱している。 特に、PASCALでラベル付き例の1%だけを用いて学習した表現を微調整すると、7.1% mIoUで教師付き ImageNet の事前トレーニングを上回ります。
  論文  参考訳（メタデータ） (2021-02-11T18:54:47Z)
• Three Ways to Improve Semantic Segmentation with Self-Supervised Depth Estimation [90.87105131054419]
  ラベルなし画像列からの自己教師付き単眼深度推定により強化された半教師付きセマンティックセマンティックセマンティックセマンティクスのフレームワークを提案する。 提案されたモデルをCityscapesデータセット上で検証する。
  論文  参考訳（メタデータ） (2020-12-19T21:18:03Z)
• Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification [64.37745443119942]
  本稿では,局所的なワンホット分類とグローバルなマルチクラス分類を組み合わせることで,視覚的・時間的整合性を両立させる。 3つの大規模ReIDデータセットの実験結果は、教師なしと教師なしの両方のドメイン適応型ReIDタスクにおいて提案手法の優位性を示す。
  論文  参考訳（メタデータ） (2020-07-21T14:31:27Z)
• Improving Semantic Segmentation via Self-Training [75.07114899941095]
  半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。 まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。 私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
  論文  参考訳（メタデータ） (2020-04-30T17:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。