論文の概要: Quality Guided Sketch-to-Photo Image Synthesis

• arxiv url: http://arxiv.org/abs/2005.02133v1
• Date: Mon, 20 Apr 2020 16:00:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 18:00:59.398325
• Title: Quality Guided Sketch-to-Photo Image Synthesis
• Title（参考訳）: クオリティガイドによる画像合成
• Authors: Uche Osahor, Hadi Kazemi, Ali Dabouei, Nasser Nasrabadi
• Abstract要約: ヘアカラーやセックスなどの特徴を持つ複数の合成画像に1つのスケッチを合成する生成逆ネットワークを提案する。 本手法は,合成画像の同一性を損なうことなく,複数の属性割り当てをジェネレータに組み込むことにより,合成画像の視覚的魅力を向上させることを目的としている。
• 参考スコア（独自算出の注目度）: 12.617078020344618
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facial sketches drawn by artists are widely used for visual identification applications and mostly by law enforcement agencies, but the quality of these sketches depend on the ability of the artist to clearly replicate all the key facial features that could aid in capturing the true identity of a subject. Recent works have attempted to synthesize these sketches into plausible visual images to improve visual recognition and identification. However, synthesizing photo-realistic images from sketches proves to be an even more challenging task, especially for sensitive applications such as suspect identification. In this work, we propose a novel approach that adopts a generative adversarial network that synthesizes a single sketch into multiple synthetic images with unique attributes like hair color, sex, etc. We incorporate a hybrid discriminator which performs attribute classification of multiple target attributes, a quality guided encoder that minimizes the perceptual dissimilarity of the latent space embedding of the synthesized and real image at different layers in the network and an identity preserving network that maintains the identity of the synthesised image throughout the training process. Our approach is aimed at improving the visual appeal of the synthesised images while incorporating multiple attribute assignment to the generator without compromising the identity of the synthesised image. We synthesised sketches using XDOG filter for the CelebA, WVU Multi-modal and CelebA-HQ datasets and from an auxiliary generator trained on sketches from CUHK, IIT-D and FERET datasets. Our results are impressive compared to current state of the art.
• Abstract（参考訳）: アーティストが描いた顔のスケッチは、視覚識別アプリケーション、主に警察機関で広く使われているが、これらのスケッチの質は、被写体の真のアイデンティティを捉えるのに役立つすべての重要な顔の特徴を、アーティストが明確に再現する能力に依存している。 近年の研究では、これらのスケッチを可視画像に合成して視覚認識と識別を改善する試みが行われている。 しかし、スケッチからのフォトリアリスティックな画像の合成は、特に被疑者識別のような繊細なアプリケーションにおいて、さらに困難な課題であることが証明されている。 本研究では,髪の色や性などの特徴を持つ複数の合成画像に1つのスケッチを合成する,生成的対向ネットワークを採用した新しいアプローチを提案する。 複数の対象属性の属性分類を行うハイブリッド判別器と、ネットワーク内の異なる層における合成および実画像の潜在空間埋め込みの知覚的不一致を最小限に抑える品質誘導エンコーダと、合成画像の同一性を維持するアイデンティティ保存ネットワークとを、トレーニングプロセスを通して組み込む。 本手法は,合成画像の同一性を損なうことなく,複数の属性割り当てをジェネレータに組み込むことにより,合成画像の視覚的魅力を向上させることを目的とする。 我々は,CelebA,WVU Multi-modal,CelebA-HQデータセットのXDOGフィルタとCUHK,IIT-D,FERETデータセットのスケッチに基づいて訓練された補助ジェネレータを用いてスケッチを合成した。 私たちの結果は現在の芸術と比べれば印象的だ。

関連論文リスト

• Personalized Face Inpainting with Diffusion Models by Parallel Visual Attention [55.33017432880408]
  本稿では,パラレル視覚注意(PVA, Parallel Visual Attention, PVA)と拡散モデルとの併用による塗装結果の改善を提案する。 我々はCelebAHQ-IDIで注目モジュールとIDエンコーダをトレーニングする。 実験により, PVAは顔の塗り絵と顔の塗り絵の両面において, 言語指導タスクと相容れない同一性を持つことが示された。
  論文  参考訳（メタデータ） (2023-12-06T15:39:03Z)
• FaceStudio: Put Your Face Everywhere in Seconds [23.381791316305332]
  アイデンティティを保存する画像合成は、パーソナライズされたスタイリスティックなタッチを加えながら、被験者のアイデンティティを維持することを目指している。 Textual InversionやDreamBoothといった従来の手法は、カスタムイメージ作成に力を入れている。 本研究は,人間の画像に焦点をあてたアイデンティティ保存合成への新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-05T11:02:45Z)
• SynFace: Face Recognition with Synthetic Data [83.15838126703719]
  我々は、ID混在(IM)とドメイン混在(DM)を併用したSynFaceを考案し、パフォーマンスギャップを緩和する。 また、合成顔画像の系統的実験分析を行い、合成データを顔認識に効果的に活用する方法についての知見を提供する。
  論文  参考訳（メタデータ） (2021-08-18T03:41:54Z)
• Multimodal Face Synthesis from Visual Attributes [85.87796260802223]
  本稿では,マルチモーダル顔画像を保存するIDを同時に合成する新たな生成対向ネットワークを提案する。 実画像と偽画像の区別を行う識別装置にマルチモーダルストレッチインモジュールを導入。
  論文  参考訳（メタデータ） (2021-04-09T13:47:23Z)
• Identity-Aware CycleGAN for Face Photo-Sketch Synthesis and Recognition [61.87842307164351]
  まず,画像生成ネットワークの監視に新たな知覚損失を適用したIACycleGAN(Identity-Aware CycleGAN)モデルを提案する。 眼や鼻などの重要な顔領域の合成により多くの注意を払うことで、フォトエッチング合成におけるサイクガンを改善する。 IACycleGANによる画像の合成を反復的に行う合成モデルと認識モデルとの相互最適化手法を開発した。
  論文  参考訳（メタデータ） (2021-03-30T01:30:08Z)
• An Assessment of GANs for Identity-related Applications [3.088045900462408]
  合成画像の各種データセットにアートバイオメトリックネットワークの状態を応用し,そのアイデンティティ関連特性の徹底的な評価を行う。 GANは、画像集合の匿名化やイントラクタ画像を用いたトレーニングデータセットの強化など、新しい想像上のアイデンティティを生成するために実際に使用できると結論付けている。
  論文  参考訳（メタデータ） (2020-12-18T23:41:13Z)
• Self-Supervised Sketch-to-Image Synthesis [21.40315235087551]
  本研究では,s2i合成タスクを自己教師あり学習方式で検討する。 まず,一般RGBのみのデータセットに対して,ラインスケッチを効率的に合成する非監視手法を提案する。 次に,自己教師付きオートエンコーダ(ae)を提示し,スケッチやrgb画像からコンテンツ/スタイルの特徴を分離し,スケッチやrgb画像と一致したスタイルを合成する。
  論文  参考訳（メタデータ） (2020-12-16T22:14:06Z)
• Cross-Modal Hierarchical Modelling for Fine-Grained Sketch Based Image Retrieval [147.24102408745247]
  我々は、これまで見過ごされてきたスケッチのさらなる特性、すなわち、詳細レベルの階層性について研究する。 本稿では,スケッチ固有の階層を育成し,それを利用して,対応する階層レベルでのスケッチと写真とのマッチングを行う新しいネットワークを設計する。
  論文  参考訳（メタデータ） (2020-07-29T20:50:25Z)
• Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval [55.29233996427243]
  ローショットスケッチに基づく画像検索はコンピュータビジョンの新たな課題である。 本稿では,ゼロショットおよび少数ショットのスケッチベース画像検索(SBIR)タスクについて述べる。 これらの課題を解決するために,SEM-PCYC(SEM-PCYC)を提案する。 以上の結果から,Sketchy,TU-Berlin,QuickDrawのデータセットを拡張したバージョンでは,最先端の撮影性能が大幅に向上した。
  論文  参考訳（メタデータ） (2020-06-20T22:43:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。