論文の概要: Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP

• arxiv url: http://arxiv.org/abs/2107.12518v1
• Date: Mon, 26 Jul 2021 23:48:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-28 14:44:17.951421
• Title: Segmentation in Style: Unsupervised Semantic Image Segmentation with Stylegan and CLIP
• Title（参考訳）: スタイルのセグメンテーション:StyleganとCLIPによる教師なしセマンティック画像セグメンテーション
• Authors: Daniil Pakhomov, Sanchit Hira, Narayani Wagle, Kemar E. Green, Nassir Navab
• Abstract要約: 本研究では,人間の監督なしに画像を自動的に意味のある領域に分割する手法を提案する。 派生領域は、異なる画像間で一貫性があり、いくつかのデータセット上の人間定義のセマンティッククラスと一致する。 提案手法を公開データセット上でテストし,現状の成果を示す。
• 参考スコア（独自算出の注目度）: 39.0946507389324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a method that allows to automatically segment images into semantically meaningful regions without human supervision. Derived regions are consistent across different images and coincide with human-defined semantic classes on some datasets. In cases where semantic regions might be hard for human to define and consistently label, our method is still able to find meaningful and consistent semantic classes. In our work, we use pretrained StyleGAN2~\cite{karras2020analyzing} generative model: clustering in the feature space of the generative model allows to discover semantic classes. Once classes are discovered, a synthetic dataset with generated images and corresponding segmentation masks can be created. After that a segmentation model is trained on the synthetic dataset and is able to generalize to real images. Additionally, by using CLIP~\cite{radford2021learning} we are able to use prompts defined in a natural language to discover some desired semantic classes. We test our method on publicly available datasets and show state-of-the-art results.
• Abstract（参考訳）: 人間の監督なしに画像を自動的に意味のある領域に分割する手法を提案する。 派生領域は異なる画像間で一貫性があり、いくつかのデータセット上の人間定義のセマンティッククラスと一致する。 意味領域が人間が定義し、一貫したラベル付けが難しい場合、このメソッドは意味のある一貫性のある意味クラスを見つけることができる。 私たちの研究では、プリトレーニングされたstylegan2~\cite{karras2020analyzing}生成モデルを使用します。 クラスが見つかると、生成されたイメージと対応するセグメンテーションマスクを備えた合成データセットが作成できる。 その後、セグメンテーションモデルは合成データセット上で訓練され、実際の画像に一般化することができる。 さらに、CLIP~\cite{radford2021learning}を使うことで、自然言語で定義されたプロンプトを使用して、望ましいセマンティッククラスを見つけることができます。 提案手法を公開データセット上でテストし,現状の成果を示す。

関連論文リスト

• Vocabulary-free Image Classification and Semantic Segmentation [71.78089106671581]
  本稿では,Vocabulary-free Image Classification (VIC)タスクを導入する。これは,制約のない言語による意味空間から,既知の語彙を必要とせずに,入力画像にクラスを割り当てることを目的としている。 VICは、細かなカテゴリを含む数百万の概念を含む意味空間の広さのために、挑戦的である。 本稿では,事前学習された視覚言語モデルと外部データベースを利用した学習自由度手法CaSEDを提案する。
  論文  参考訳（メタデータ） (2024-04-16T19:27:21Z)
• SemPLeS: Semantic Prompt Learning for Weakly-Supervised Semantic Segmentation [36.41778553250247]
  Weakly-Supervised Semantic (WSSS) は、画像レベルの監督のみで画像データを用いてセグメンテーションモデルを訓練することを目的としている。 本稿では,CLIP潜伏空間を効果的に促進するためのWSSS(Semantic Prompt Learning for WSSS)フレームワークを提案する。 SemPLeSはオブジェクト領域と関連するクラスラベル間のセマンティックアライメントを改善することができる。
  論文  参考訳（メタデータ） (2024-01-22T09:41:05Z)
• Primitive Generation and Semantic-related Alignment for Universal Zero-Shot Segmentation [13.001629605405954]
  本研究では, トレーニングサンプルを使わずに, 新規カテゴリのパノプティクス, 例えば, セマンティックセマンティックセマンティックセマンティックセマンティクスを実現するために, ユニバーサルゼロショットセマンティクスについて検討する。 本稿では,意味空間と視覚空間を関連づけた未知のカテゴリの特徴を合成する生成モデルを提案する。 提案手法は、ゼロショットパノプティクスのセグメンテーション、インスタンスセグメンテーション、セマンティックセグメンテーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-06-19T17:59:16Z)
• Topological Semantic Mapping by Consolidation of Deep Visual Features [0.0]
  本研究は,ロボットが操作する環境の複数ビューで撮影された2次元画像から,CNNによって抽出された深い視覚的特徴を利用するトポロジカルセマンティックマッピング手法を提案する。 実世界の屋内データセットを用いて実験を行った結果、この手法は領域の視覚的特徴を統合し、それらを用いてオブジェクトとカテゴリを意味的特性として認識できることがわかった。
  論文  参考訳（メタデータ） (2021-06-24T01:10:03Z)
• Remote Sensing Images Semantic Segmentation with General Remote Sensing Vision Model via a Self-Supervised Contrastive Learning Method [13.479068312825781]
  リモートセマンティックセグメンテーションのためのGlobal style and Local matching Contrastive Learning Network (GLCNet)を提案する。 具体的には、画像レベルの表現をより良く学習するために、グローバルスタイルのコントラストモジュールが使用される。 コントラストモジュールにマッチするローカル特徴は、セマンティックセグメンテーションに有用なローカル領域の表現を学習するために設計されている。
  論文  参考訳（メタデータ） (2021-06-20T03:03:40Z)
• Adversarial Semantic Hallucination for Domain Generalized Semantic Segmentation [50.14933487082085]
  本稿では,クラスワイド・幻覚モジュールとセマンティック・セグメンテーション・モジュールを組み合わせた対向幻覚手法を提案する。 対象とするドメインデータをトレーニングに使用できない場合に,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-06-08T07:07:45Z)
• A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
  トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。 事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。 本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:34:33Z)
• Exploring Cross-Image Pixel Contrast for Semantic Segmentation [130.22216825377618]
  完全教師付きセッティングにおけるセマンティックセグメンテーションのための画素単位のコントラストフレームワークを提案する。 中心となる考え方は、同じセマンティッククラスに属するピクセルの埋め込みを、異なるクラスの埋め込みよりもよく似ているように強制することである。 テスト中に余分なオーバーヘッドを伴わずに既存のセグメンテーションフレームワークに懸命に組み込むことができる。
  論文  参考訳（メタデータ） (2021-01-28T11:35:32Z)
• Hierarchical Image Classification using Entailment Cone Embeddings [68.82490011036263]
  まずラベル階層の知識を任意のCNNベースの分類器に注入する。 画像からの視覚的セマンティクスと組み合わせた外部セマンティクス情報の利用が全体的な性能を高めることを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-02T10:22:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。