論文の概要: Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization

• arxiv url: http://arxiv.org/abs/2104.05833v1
• Date: Mon, 12 Apr 2021 21:41:25 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-15 03:01:48.208322
• Title: Semantic Segmentation with Generative Models: Semi-Supervised Learning and Strong Out-of-Domain Generalization
• Title（参考訳）: 生成モデルを用いた意味セグメンテーション:半教師付き学習と強い領域外一般化
• Authors: Daiqing Li, Junlin Yang, Karsten Kreis, Antonio Torralba, Sanja Fidler
• Abstract要約: 本論文では,画像とラベルの再生モデルを用いた識別画素レベルのタスクのための新しいフレームワークを提案する。 我々は,共同画像ラベルの分布を捕捉し,未ラベル画像の大規模な集合を用いて効率的に訓練する生成的対向ネットワークを学習する。 ドメイン内性能をいくつかのベースラインと比較し,ドメイン外一般化を極端に示す最初の例である。
• 参考スコア（独自算出の注目度）: 112.68171734288237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training deep networks with limited labeled data while achieving a strong generalization ability is key in the quest to reduce human annotation efforts. This is the goal of semi-supervised learning, which exploits more widely available unlabeled data to complement small labeled data sets. In this paper, we propose a novel framework for discriminative pixel-level tasks using a generative model of both images and labels. Concretely, we learn a generative adversarial network that captures the joint image-label distribution and is trained efficiently using a large set of unlabeled images supplemented with only few labeled ones. We build our architecture on top of StyleGAN2, augmented with a label synthesis branch. Image labeling at test time is achieved by first embedding the target image into the joint latent space via an encoder network and test-time optimization, and then generating the label from the inferred embedding. We evaluate our approach in two important domains: medical image segmentation and part-based face segmentation. We demonstrate strong in-domain performance compared to several baselines, and are the first to showcase extreme out-of-domain generalization, such as transferring from CT to MRI in medical imaging, and photographs of real faces to paintings, sculptures, and even cartoons and animal faces. Project Page: \url{https://nv-tlabs.github.io/semanticGAN/}
• Abstract（参考訳）: 限定されたラベル付きデータによるディープネットワークのトレーニング 強力な一般化能力の達成は、人間のアノテーション作業を減らすための鍵となる。 これは半教師付き学習の目標であり、より広く利用可能なラベル付きデータを利用して小さなラベル付きデータセットを補完する。 本稿では,画像とラベルの両方の生成モデルを用いて,識別レベルのタスクを識別する新しいフレームワークを提案する。 具体的には,共同画像ラベル分布を捕捉し,ラベル付き画像のみを補足した大量のラベル付き画像を用いて効率よく訓練する生成対向ネットワークを学習する。 StyleGAN2の上にアーキテクチャを構築し、ラベル合成ブランチを付加します。 目標画像をまずエンコーダネットワークを介してジョイント潜在空間に埋め込み、テスト時間最適化を行い、次に推論埋め込みからラベルを生成することにより、テスト時の画像ラベリングを実現する。 医用画像分割と部分的顔分割の2つの重要な領域でアプローチを評価した。 医療画像におけるctからmriへの転送や、実際の顔の写真から絵画、彫刻、さらには漫画や動物の顔まで、ドメイン外の極端な一般化を示す最初の例である。 Project Page: \url{https://nv-tlabs.github.io/semanticGAN/}

関連論文リスト

• Microscopy Image Segmentation via Point and Shape Regularized Data Synthesis [9.47802391546853]
  合成学習データを用いた顕微鏡画像セグメンテーションのための統一パイプラインを構築した。 本フレームワークは,濃密なラベルを持つ高精度な顕微鏡画像で訓練されたモデルと同等の結果が得られる。
  論文  参考訳（メタデータ） (2023-08-18T22:00:53Z)
• A Semi-Paired Approach For Label-to-Image Translation [6.888253564585197]
  ラベル・ツー・イメージ翻訳のための半教師付き(半ペア)フレームワークを初めて紹介する。 半ペア画像設定では、小さなペアデータとより大きなペア画像とラベルのセットにアクセスすることができる。 本稿では,この共有ネットワークのためのトレーニングアルゴリズムを提案し,非表現型クラスに着目した希少なクラスサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-23T16:13:43Z)
• Learning to Annotate Part Segmentation with Gradient Matching [58.100715754135685]
  本稿では,事前学習したGANを用いて,高品質な画像を生成することで,半教師付き部分分割タスクに対処することに焦点を当てる。 特に、アノテータ学習を学習から学習までの問題として定式化する。 提案手法は,実画像,生成された画像,さらには解析的に描画された画像を含む,幅広いラベル付き画像からアノテータを学習可能であることを示す。
  論文  参考訳（メタデータ） (2022-11-06T01:29:22Z)
• Maximize the Exploration of Congeneric Semantics for Weakly Supervised Semantic Segmentation [27.155133686127474]
  グラフニューラルネットワーク(P-GNN)を,同一のクラスラベルを含む異なる画像からの自己検出パッチに基づいて構築する。 PASCAL VOC 2012ベンチマークで実験を行い、そのモデルにより最先端の性能が得られた。
  論文  参考訳（メタデータ） (2021-10-08T08:59:16Z)
• Semi-weakly Supervised Contrastive Representation Learning for Retinal Fundus Images [0.2538209532048867]
  本稿では,半弱化アノテーションを用いた表現学習のための,半弱化教師付きコントラスト学習フレームワークを提案する。 SWCLの移動学習性能を7つの公立網膜眼底データセットで実証的に検証した。
  論文  参考訳（メタデータ） (2021-08-04T15:50:09Z)
• Open-World Entity Segmentation [70.41548013910402]
  我々は、意味圏ラベルを考慮せずに、画像内のすべての視覚的エンティティをセグメント化することを目的として、Entity(ES)と呼ばれる新しいイメージセグメンテーションタスクを導入する。 意味的に意味のある全てのセグメントは、等しく分類なしのエンティティとして扱われる。 1) 複数のデータセットをマージしてラベルの衝突を解決することなく大規模なトレーニングセットを形成すること、2) 1つのデータセットでトレーニングされたモデルが、目に見えないドメインを持つ他のデータセットに対して、例外的にうまく一般化することができること、である。
  論文  参考訳（メタデータ） (2021-07-29T17:59:05Z)
• Group-Wise Semantic Mining for Weakly Supervised Semantic Segmentation [49.90178055521207]
  この研究は、画像レベルのアノテーションとピクセルレベルのセグメンテーションのギャップを埋めることを目標に、弱い監督されたセマンティックセグメンテーション(WSSS)に対処する。 画像群における意味的依存関係を明示的にモデル化し,より信頼性の高い擬似的基盤構造を推定する,新たなグループ学習タスクとしてWSSSを定式化する。 特に、入力画像がグラフノードとして表現されるグループ単位のセマンティックマイニングのためのグラフニューラルネットワーク(GNN)を考案する。
  論文  参考訳（メタデータ） (2020-12-09T12:40:13Z)
• Mining Cross-Image Semantics for Weakly Supervised Semantic Segmentation [128.03739769844736]
  2つのニューラルコアテンションを分類器に組み込んで、画像間のセマンティックな類似点と相違点をキャプチャする。 オブジェクトパターン学習の強化に加えて、コアテンションは他の関連する画像からのコンテキストを活用して、ローカライズマップの推論を改善することができる。 提案アルゴリズムは,これらすべての設定に対して新たな最先端性を設定し,その有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2020-07-03T21:53:46Z)
• Adversarial Learning for Personalized Tag Recommendation [61.76193196463919]
  大規模データセットでトレーニング可能なエンドツーエンドのディープネットワークを提案する。 ユーザの嗜好と視覚的エンコーディングの合同トレーニングにより、ネットワークは視覚的嗜好をタグ付け行動と効率的に統合することができる。 本稿では,提案モデルの有効性を2つの大規模および公開データセットで示す。
  論文  参考訳（メタデータ） (2020-04-01T20:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。