論文の概要: Face sketch to photo translation using generative adversarial networks
- arxiv url: http://arxiv.org/abs/2110.12290v1
- Date: Sat, 23 Oct 2021 20:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 16:03:39.696511
- Title: Face sketch to photo translation using generative adversarial networks
- Title（参考訳）: 生成型adversarial networkを用いた顔スケッチと写真翻訳
- Authors: Nastaran Moradzadeh Farid, Maryam Saeedi Fard, Ahmad Nickabadi
- Abstract要約: 我々は、訓練済みの顔画像生成モデルを用いて、高品質な自然顔写真を合成する。
入力スケッチから抽出した顔の特徴を、顔生成モデルの潜在空間のベクトルにマッピングするネットワークを訓練する。
提案モデルでは,SSIM指数で0.655,97.59%のランク-1顔認識率が得られた。
- 参考スコア（独自算出の注目度）: 1.0312968200748118
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Translating face sketches to photo-realistic faces is an interesting and
essential task in many applications like law enforcement and the digital
entertainment industry. One of the most important challenges of this task is
the inherent differences between the sketch and the real image such as the lack
of color and details of the skin tissue in the sketch. With the advent of
adversarial generative models, an increasing number of methods have been
proposed for sketch-to-image synthesis. However, these models still suffer from
limitations such as the large number of paired data required for training, the
low resolution of the produced images, or the unrealistic appearance of the
generated images. In this paper, we propose a method for converting an input
facial sketch to a colorful photo without the need for any paired dataset. To
do so, we use a pre-trained face photo generating model to synthesize
high-quality natural face photos and employ an optimization procedure to keep
high-fidelity to the input sketch. We train a network to map the facial
features extracted from the input sketch to a vector in the latent space of the
face generating model. Also, we study different optimization criteria and
compare the results of the proposed model with those of the state-of-the-art
models quantitatively and qualitatively. The proposed model achieved 0.655 in
the SSIM index and 97.59% rank-1 face recognition rate with higher quality of
the produced images.
- Abstract（参考訳）: 顔のスケッチを写実的な顔に翻訳することは、法執行機関やデジタルエンタテインメント業界など、多くのアプリケーションで興味深い重要なタスクである。
この課題の最も重要な課題の1つは、スケッチの色彩の欠如や、スケッチの皮膚組織の詳細など、スケッチと実際のイメージの間に固有の違いがある。
逆生成モデルが出現すると、スケッチから画像への合成のために多くの手法が提案されている。
しかし、これらのモデルはまだトレーニングに必要なペアデータの多さ、画像の解像度の低さ、生成された画像の非現実的な外観といった制限に苦しめられている。
本稿では,入力された顔のスケッチを,ペアのデータセットを必要とせずにカラフルな写真に変換する手法を提案する。
そこで我々は,事前学習した顔写真生成モデルを用いて高品質の自然顔写真を合成し,入力スケッチへの忠実性を維持するための最適化手法を用いる。
入力スケッチから抽出した顔特徴を顔生成モデルの潜在空間内のベクトルにマッピングするためにネットワークを訓練する。
また,様々な最適化基準について検討し,提案したモデルと最先端モデルのモデルとを定量的に定性的に比較した。
提案モデルでは,SSIM指数で0.655,97.59%のランク-1顔認識率で生成画像の品質が向上した。
関連論文リスト
- OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
拡散モデルは、顔の修復において顕著な性能を示した。
顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。
その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
論文 参考訳（メタデータ） (2024-11-26T07:07:48Z) - Multi-Style Facial Sketch Synthesis through Masked Generative Modeling [17.313050611750413]
本稿では,画像と対応するマルチスタイリズドスケッチを効率よく変換する軽量なエンドツーエンド合成モデルを提案する。
本研究では,半教師付き学習を学習プロセスに取り入れることで,データ不足の問題を克服する。
提案手法は,複数のベンチマークで従来アルゴリズムより常に優れていた。
論文 参考訳（メタデータ） (2024-08-22T13:45:04Z) - Improving face generation quality and prompt following with synthetic captions [57.47448046728439]
画像から正確な外観記述を生成するために,トレーニング不要のパイプラインを導入する。
次に、これらの合成キャプションを使用して、テキストから画像への拡散モデルを微調整する。
提案手法は,高品質で現実的な人間の顔を生成するモデルの能力を大幅に向上させることを示す。
論文 参考訳（メタデータ） (2024-05-17T15:50:53Z) - FaceChain: A Playground for Human-centric Artificial Intelligence
Generated Content [36.48960592782015]
FaceChainは、パーソナライズされたポートレート生成フレームワークで、一連のカスタマイズされた画像生成モデルと、顔に関連する知覚理解モデルの豊富なセットを組み合わせる。
我々は、複数のSOTAフェイスモデルを生成手順に注入し、従来のソリューションと比較して、より効率的なラベルタグ付け、データ処理、モデル後処理を実現する。
FaceChainをベースとして、仮想トライオンや2Dトーキングヘッドなど、その価値をよりよく示すための、より広いグラウンドを構築するためのいくつかのアプリケーションも開発しています。
論文 参考訳（メタデータ） (2023-08-28T02:20:44Z) - DreamIdentity: Improved Editability for Efficient Face-identity
Preserved Image Generation [69.16517915592063]
人間の顔の正確な表現を学習するための新しい顔識別エンコーダを提案する。
また、モデルの編集可能性を高めるために、自己拡張編集可能性学習を提案する。
我々の手法は、異なるシーン下でより高速にアイデンティティ保存された画像を生成することができる。
論文 参考訳（メタデータ） (2023-07-01T11:01:17Z) - DiffSketching: Sketch Control Image Synthesis with Diffusion Models [10.172753521953386]
スケッチ・ツー・イメージ合成のためのディープラーニングモデルは、視覚的な詳細なしに歪んだ入力スケッチを克服する必要がある。
我々のモデルは、クロスドメイン制約を通じてスケッチにマッチし、画像合成をより正確に導くために分類器を使用する。
我々のモデルは、生成品質と人的評価の点でGANベースの手法に勝ることができ、大規模なスケッチ画像データセットに依存しない。
論文 参考訳（メタデータ） (2023-05-30T07:59:23Z) - Person Image Synthesis via Denoising Diffusion Model [116.34633988927429]
本研究では,高忠実度人物画像合成に拡散モデルをいかに応用できるかを示す。
2つの大規模ベンチマークとユーザスタディの結果は、挑戦的なシナリオ下で提案したアプローチのフォトリアリズムを実証している。
論文 参考訳（メタデータ） (2022-11-22T18:59:50Z) - Quality Metric Guided Portrait Line Drawing Generation from Unpaired
Training Data [88.78171717494688]
本研究では,顔画像から肖像画への自動変換手法を提案する。
本手法は,(1)1つのネットワークを用いて複数のスタイルで高品質な肖像画を生成することを学習し,(2)トレーニングデータに見つからない「新しいスタイル」の肖像画を生成する。
論文 参考訳（メタデータ） (2022-02-08T06:49:57Z) - DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。
本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文 参考訳（メタデータ） (2020-08-31T03:35:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。