論文の概要: S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation

• arxiv url: http://arxiv.org/abs/2011.14785v1
• Date: Mon, 30 Nov 2020 13:42:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-06 14:43:43.312675
• Title: S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation
• Title（参考訳）: S2FGAN: 対話型スケッチ・ツー・フェイス翻訳をセマンティックに認識する
• Authors: Yan Yang and Md Zakir Hossain and Tom Gedeon and Shafin Rahman
• Abstract要約: 本稿では,S2FGANと呼ばれるスケッチ・ツー・イメージ生成フレームワークを提案する。 我々は2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れた性能を発揮する。
• 参考スコア（独自算出の注目度）: 11.724779328025589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Interactive facial image manipulation attempts to edit single and multiple face attributes using a photo-realistic face and/or semantic mask as input. In the absence of the photo-realistic image (only sketch/mask available), previous methods only retrieve the original face but ignore the potential of aiding model controllability and diversity in the translation process. This paper proposes a sketch-to-image generation framework called S2FGAN, aiming to improve users' ability to interpret and flexibility of face attribute editing from a simple sketch. The proposed framework modifies the constrained latent space semantics trained on Generative Adversarial Networks (GANs). We employ two latent spaces to control the face appearance and adjust the desired attributes of the generated face. Instead of constraining the translation process by using a reference image, the users can command the model to retouch the generated images by involving the semantic information in the generation process. In this way, our method can manipulate single or multiple face attributes by only specifying attributes to be changed. Extensive experimental results on CelebAMask-HQ dataset empirically shows our superior performance and effectiveness on this task. Our method successfully outperforms state-of-the-art methods on attribute manipulation by exploiting greater control of attribute intensity.
• Abstract（参考訳）: インタラクティブな顔画像操作は、フォトリアリスティックな顔と/またはセマンティックマスクを入力として、単一および複数の顔属性を編集しようとする。 フォトリアリスティック画像が存在しない場合(スケッチ/マスクのみ)、従来の手法は元の顔のみを検索するが、翻訳過程におけるモデル制御可能性や多様性を補助する可能性を無視する。 本稿では,簡単なスケッチから顔属性編集の解釈と柔軟性を向上させることを目的とした,s2fganと呼ばれるスケッチ対画像生成フレームワークを提案する。 提案フレームワークは,GAN(Generative Adversarial Networks)で訓練された制約付き潜在空間意味論を改良する。 2つの潜在空間を用いて顔の外観を制御し、生成した顔の所望の属性を調整する。 ユーザは、参照画像を用いて翻訳プロセスを制約するのではなく、生成プロセスに意味情報を取り込むことで、生成された画像に再タッチするようにモデルに指示することができる。 この方法では、変更すべき属性のみを指定することで、1つまたは複数の顔属性を操作できる。 CelebAMask-HQデータセットの大規模な実験結果は、このタスクにおける我々の優れたパフォーマンスと効果を実証的に示す。 提案手法は,属性強度の制御性を高めることで,属性操作における最先端の手法よりも優れている。

関連論文リスト

• FlashFace: Human Image Personalization with High-fidelity Identity Preservation [59.76645602354481]
  FlashFaceを使うと、ユーザーは自分の写真を簡単にパーソナライズできる。 我々のアプローチは、高忠実度ID保存とより良い指示に従うことによって、既存の人間の写真カスタマイズ方法と区別できる。
  論文  参考訳（メタデータ） (2024-03-25T17:59:57Z)
• When StyleGAN Meets Stable Diffusion: a $\mathscr{W}_+$ Adapter for Personalized Image Generation [60.305112612629465]
  テキストと画像の拡散モデルは、多種多様で高品質でフォトリアリスティックな画像を生成するのに優れている。 本稿では,拡散モデルのための拡張されたアイデンティティ保存とアンタングル化を実現するために,StyleGAN 埋め込み空間 $mathcalW_+$ の新たな利用法を提案する。 提案手法は,即時記述に適合するだけでなく,一般的なスタイルGAN編集方向に対応可能なパーソナライズされたテキスト・ツー・イメージ出力を生成する。
  論文  参考訳（メタデータ） (2023-11-29T09:05:14Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• DreamIdentity: Improved Editability for Efficient Face-identity Preserved Image Generation [69.16517915592063]
  人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。 また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。 我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T11:01:17Z)
• ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation [22.724306705927095]
  そこで本研究では,テキスト駆動による画像編集をセマンティック潜時空間の拡散モデルで行う手法を提案する。 拡散モデルの時間的特徴を生成過程における意味条件と整合させることにより,安定な操作戦略を導入する。 我々はChatFaceという対話型システムを開発し、大きな言語モデルのゼロショット推論能力を組み合わせて効率的な操作を行う。
  論文  参考訳（メタデータ） (2023-05-24T05:28:37Z)
• ManiCLIP: Multi-Attribute Face Manipulation from Text [104.30600573306991]
  テキスト記述に基づく新しい多属性顔操作法を提案する。 本手法は,テキスト関連属性の編集を最小限に抑えた自然な顔を生成する。
  論文  参考訳（メタデータ） (2022-10-02T07:22:55Z)
• IA-FaceS: A Bidirectional Method for Semantic Face Editing [8.19063619210761]
  本稿では,顔属性の非交叉操作とフレキシブルかつ制御可能なコンポーネント編集のための双方向手法を提案する。 IA-FaceSは、セグメンテーションマスクやスケッチのような入力視覚的なガイダンスなしで初めて開発された。 定量的および定性的な結果から,提案手法は再構成,顔属性操作,コンポーネント転送において,他の手法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-03-24T14:44:56Z)
• FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces [9.664892091493586]
  FacialGANは、リッチなスタイル転送と対話的な顔属性操作を可能にする新しいフレームワークである。 モデルが視覚的に説得力のある結果を生み出す能力は,スタイル伝達,属性操作,多様性,顔認証などである。
  論文  参考訳（メタデータ） (2021-10-18T15:53:38Z)
• FaceController: Controllable Attribute Editing for Face in the Wild [74.56117807309576]
  単純なフィードフォワードネットワークを提案し、高忠実度な顔を生成する。 本手法では,既存かつ容易に把握可能な事前情報を利用することで,野生の多様な顔属性の制御,転送,編集を行うことができる。 本手法では,3Dプリミティブを用いてアイデンティティ,表現,ポーズ,イルミネーションを分離し,地域別スタイルコードを用いてテクスチャとカラーを分離する。
  論文  参考訳（メタデータ） (2021-02-23T02:47:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。