論文の概要: SeCGAN: Parallel Conditional Generative Adversarial Networks for Face Editing via Semantic Consistency

• arxiv url: http://arxiv.org/abs/2111.09298v1
• Date: Wed, 17 Nov 2021 18:54:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-18 15:06:44.631466
• Title: SeCGAN: Parallel Conditional Generative Adversarial Networks for Face Editing via Semantic Consistency
• Title（参考訳）: SeCGAN:Semantic Consistencyによる顔編集のための並列条件生成対向ネットワーク
• Authors: Jiaze Sun, Binod Bhattarai, Zhixiang Chen, Tae-Kyun Kim
• Abstract要約: 目的のセマンティックマスクを指定せずにセマンティック情報を利用した顔画像の編集を行うラベル誘導型cGANを提案する。 SeCGANには2つのジェネレータと識別器が並列に動作しており、1つはRGBイメージを変換し、もう1つはセマンティックマスク用に訓練されている。 CelebAとCelebA-HQで得られた結果は、我々のアプローチがより正確な属性を持つ顔画像を生成することができることを示している。
• 参考スコア（独自算出の注目度）: 50.04141606856168
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Semantically guided conditional Generative Adversarial Networks (cGANs) have become a popular approach for face editing in recent years. However, most existing methods introduce semantic masks as direct conditional inputs to the generator and often require the target masks to perform the corresponding translation in the RGB space. We propose SeCGAN, a novel label-guided cGAN for editing face images utilising semantic information without the need to specify target semantic masks. During training, SeCGAN has two branches of generators and discriminators operating in parallel, with one trained to translate RGB images and the other for semantic masks. To bridge the two branches in a mutually beneficial manner, we introduce a semantic consistency loss which constrains both branches to have consistent semantic outputs. Whilst both branches are required during training, the RGB branch is our primary network and the semantic branch is not needed for inference. Our results on CelebA and CelebA-HQ demonstrate that our approach is able to generate facial images with more accurate attributes, outperforming competitive baselines in terms of Target Attribute Recognition Rate whilst maintaining quality metrics such as self-supervised Fr\'{e}chet Inception Distance and Inception Score.
• Abstract（参考訳）: 近年, 顔編集において, セマンティックガイドによる条件付き生成支援ネットワーク (cGANs) が普及している。 しかし、既存のほとんどの方法は、ジェネレータへの直接条件入力としてセマンティックマスクを導入し、RGB空間で対応する翻訳を行うためにターゲットマスクを必要とすることが多い。 本稿では,ターゲットのセマンティックマスクを指定せずにセマンティック情報を利用した顔画像の編集を行う新しいラベル誘導cGANであるSeCGANを提案する。 トレーニング中、SeCGANには2つのジェネレータと識別器が並列に動作しており、1つはRGBイメージの翻訳を、もう1つはセマンティックマスクのために訓練されている。 2つの枝を相互に有益に橋渡しするために,両枝が一貫した意味的出力を持つように制約する意味的一貫性損失を導入する。 トレーニングにはどちらのブランチも必要だが、RGBブランチは私たちのプライマリネットワークであり、推論にはセマンティックブランチは必要ない。 我々のCelebAとCelebA-HQの研究では、自己指導型Fr\'{e}chet Inception DistanceやInception Scoreなどの品質指標を維持しながら、より正確な属性を持つ顔画像を生成することができ、ターゲット属性認識率において競争ベースラインを上回ることが実証された。

関連論文リスト

• Contrastive Grouping with Transformer for Referring Image Segmentation [23.276636282894582]
  本稿では,Transformer Network (CGFormer) を用いたコントラストグルーピングというマスク分類フレームワークを提案する。 CGFormerはトークンベースのクエリとグルーピング戦略を通じて、オブジェクトレベルの情報を明示的にキャプチャする。 実験の結果,CGFormerはセグメンテーションと一般化の両設定において,最先端の手法よりも一貫して,大幅に優れていた。
  論文  参考訳（メタデータ） (2023-09-02T20:53:42Z)
• Object Segmentation by Mining Cross-Modal Semantics [68.88086621181628]
  マルチモーダル特徴の融合と復号を導くために,クロスモーダル・セマンティックスをマイニングする手法を提案する。 具体的には,(1)全周減衰核融合(AF),(2)粗大デコーダ(CFD),(3)多層自己超越からなる新しいネットワークXMSNetを提案する。
  論文  参考訳（メタデータ） (2023-05-17T14:30:11Z)
• Wavelet-based Unsupervised Label-to-Image Translation [9.339522647331334]
  本稿では、自己教師付きセグメンテーション損失と全画像ウェーブレットに基づく識別を併用した、SIS(USIS)のための新しいアン教師付きパラダイムを提案する。 3つの挑戦的なデータセットで方法論を検証し、ペアモデルとアンペアモデルのパフォーマンスギャップを橋渡しする能力を実証する。
  論文  参考訳（メタデータ） (2023-05-16T17:48:44Z)
• Complementary Random Masking for RGB-Thermal Semantic Segmentation [63.93784265195356]
  RGB-熱的セマンティックセグメンテーションは、悪天候や照明条件における信頼性の高いセマンティックセマンティックセマンティック理解を実現するための潜在的ソリューションである。 本稿では,1)RGB-T画像の相補的ランダムマスキング戦略,2)クリーンモードとマスク入力モードの自己蒸留損失を提案する。 3つのRGB-Tセマンティックセマンティックセグメンテーションベンチマークで最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-03-30T13:57:21Z)
• Side Adapter Network for Open-Vocabulary Semantic Segmentation [69.18441687386733]
  本稿では,Side Adapter Network (SAN) という,事前学習された視覚言語モデルを用いたオープン語彙セマンティックセマンティックセマンティックセマンティクスのための新しいフレームワークを提案する。 サイドネットワークは凍結したCLIPモデルにアタッチされ、ひとつはマスクの提案を予測し、もうひとつは注意バイアスを予測する。 トレーニング可能なパラメータは最大で18倍,推論速度は19倍に向上した。
  論文  参考訳（メタデータ） (2023-02-23T18:58:28Z)
• A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation [52.911307452212256]
  セマンティックセグメンテーションと階層的GANの統一アーキテクチャを開発する。 我々のフレームワークのユニークな利点は、将来的なセマンティックセグメンテーションネットワーク条件を生成モデルに渡すことである。 我々は,AffectNetとRaFDの2つの難解な表情翻訳ベンチマークとセマンティックセグメンテーションベンチマークであるCelebAMask-HQについて評価を行った。
  論文  参考訳（メタデータ） (2021-12-08T22:06:31Z)
• GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation [16.900404701997502]
  本稿では,潜伏マスクに条件付き画像を生成するGANベースのアプローチを提案する。 このようなマスク条件の画像生成は、マスクを階層的に条件付ける際に忠実に学習できることを示す。 また、セグメンテーションネットワークをトレーニングするためのイメージマスクペアの生成も可能で、既存のベンチマークでは、最先端の教師なしセグメンテーションメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-12-02T07:57:56Z)
• Cross-domain Speech Recognition with Unsupervised Character-level Distribution Matching [60.8427677151492]
  2つの領域における各文字間の微粒化適応を行うための文字レベルの分布マッチング手法であるCMatchを提案する。 Libri-Adaptデータセットを用いた実験の結果,提案手法はクロスデバイスとクロス環境の両方で14.39%,16.50%の単語誤り率(WER)を低減できることがわかった。
  論文  参考訳（メタデータ） (2021-04-15T14:36:54Z)
• Instance Semantic Segmentation Benefits from Generative Adversarial Networks [13.295723883560122]
  マスクの予測問題は,GANのゲームフレームワークとして定義する。 セグメンテーションネットワークがマスクを生成し、識別ネットワークがマスクの品質を決定する。 携帯電話のリサイクル,自動運転,大規模物体検出,医療用腺について報告する。
  論文  参考訳（メタデータ） (2020-10-26T17:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。