論文の概要: Deep Generation of Face Images from Sketches

• arxiv url: http://arxiv.org/abs/2006.01047v2
• Date: Fri, 5 Jun 2020 02:37:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 07:44:21.738456
• Title: Deep Generation of Face Images from Sketches
• Title（参考訳）: スケッチによる顔画像の深部生成
• Authors: Shu-Yu Chen, Wanchao Su, Lin Gao, Shihong Xia, Hongbo Fu
• Abstract要約: ディープ・イメージ・ツー・イメージの翻訳技術により、フリーハンドスケッチから高速に顔画像を生成することができる。 既存のソリューションはスケッチに過度に適合する傾向にあり、プロのスケッチやエッジマップを入力として必要とします。 本稿では,画像の形状空間を暗黙的にモデル化し,この空間の顔画像を合成し,入力スケッチを近似する手法を提案する。 本手法は,入力スケッチをソフトな制約として使用することにより,粗いスケッチや不完全なスケッチであっても高品質な顔画像を生成することができる。
• 参考スコア（独自算出の注目度）: 36.146494762987146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent deep image-to-image translation techniques allow fast generation of face images from freehand sketches. However, existing solutions tend to overfit to sketches, thus requiring professional sketches or even edge maps as input. To address this issue, our key idea is to implicitly model the shape space of plausible face images and synthesize a face image in this space to approximate an input sketch. We take a local-to-global approach. We first learn feature embeddings of key face components, and push corresponding parts of input sketches towards underlying component manifolds defined by the feature vectors of face component samples. We also propose another deep neural network to learn the mapping from the embedded component features to realistic images with multi-channel feature maps as intermediate results to improve the information flow. Our method essentially uses input sketches as soft constraints and is thus able to produce high-quality face images even from rough and/or incomplete sketches. Our tool is easy to use even for non-artists, while still supporting fine-grained control of shape details. Both qualitative and quantitative evaluations show the superior generation ability of our system to existing and alternative solutions. The usability and expressiveness of our system are confirmed by a user study.
• Abstract（参考訳）: 最近の深層画像から画像への翻訳技術は、フリーハンドスケッチから顔画像の高速生成を可能にする。 しかし、既存のソリューションはスケッチに過剰に適合する傾向があるため、プロのスケッチやエッジマップさえ入力する必要がある。 この問題に対処するために, 顔画像の形状空間を暗黙的にモデル化し, この空間における顔画像合成を行い, 入力スケッチを近似する。 私たちは地域対グローバルのアプローチを取る。 まず、キーフェイスコンポーネントの特徴埋め込みを学習し、入力スケッチの対応する部分を、顔コンポーネントサンプルの特徴ベクトルによって定義される基礎となるコンポーネント多様体にプッシュする。 また,組込み成分の特徴から実写画像へのマッピングを中間結果として学習し,情報フローを改善するための深層ニューラルネットワークを提案する。 本手法は基本的にソフトな制約として入力スケッチを使用し,粗面や不完全なスケッチからでも高品質な顔画像を生成することができる。 我々のツールは非アーチストでも使いやすく、形状の細かい制御もサポートしています。 定性的および定量的評価は,既存および代替ソリューションに対して,我々のシステムの優れた生成能力を示す。 本システムのユーザビリティと表現性は,ユーザスタディによって確認される。

関連論文リスト

• Stylized Face Sketch Extraction via Generative Prior with Limited Data [6.727433982111717]
  StyleSketchは、顔画像から高解像度のスタイリングスケッチを抽出する方法である。 事前訓練されたStyleGANの深い特徴の豊富なセマンティクスを用いて、16対の顔とそれに対応するスケッチイメージでスケッチジェネレータを訓練することができる。
  論文  参考訳（メタデータ） (2024-03-17T16:25:25Z)
• Block and Detail: Scaffolding Sketch-to-Image Generation [70.34211439488223]
  アーティストの反復的な洗練プロセスと整合する新しいスケッチ・ツー・イメージ・ツールを提案する。 私たちのツールは、ブロックされたストロークをスケッチして、オブジェクトの配置や形を粗く表現し、詳細なストロークを表現して、形やシルエットを洗練します。 反復過程の任意の点において、そのようなスケッチから高忠実度画像を生成するための2パスアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-02-28T07:09:31Z)
• Learning Position-Aware Implicit Neural Network for Real-World Face Inpainting [55.87303287274932]
  顔の塗装には、モデルが顔の位置構造を正確に理解する必要がある。 本稿では,実世界のシナリオにおいて任意の形状の顔画像を扱うためのtextbfImplicit textbfNeural textbfInpainting textbfNetwork (IN$2$)を提案する。
  論文  参考訳（メタデータ） (2024-01-19T07:31:44Z)
• DiffFaceSketch: High-Fidelity Face Image Synthesis with Sketch-Guided Latent Diffusion Model [8.1818090854822]
  我々は,Sketch-Guided Latent Diffusion Model (SGLDM)を紹介した。 SGLDMは、さまざまな抽象レベルのスケッチから、異なる表情、顔のアクセサリー、ヘアスタイルで高品質な顔画像を合成することができる。
  論文  参考訳（メタデータ） (2023-02-14T08:51:47Z)
• Sketch-Guided Text-to-Image Diffusion Models [57.12095262189362]
  本稿では,事前訓練されたテキスト-画像拡散モデルを示す普遍的なアプローチを提案する。 本手法では,タスク専用のモデルや専用エンコーダをトレーニングする必要はない。 我々は、スケッチ・ツー・イメージの翻訳タスクに特に焦点をあて、画像を生成する堅牢で表現力のある方法を明らかにする。
  論文  参考訳（メタデータ） (2022-11-24T18:45:32Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)
• Deep Plastic Surgery: Robust and Controllable Image Editing with Human-Drawn Sketches [133.01690754567252]
  スケッチベースの画像編集は、人間の描いたスケッチによって提供される構造情報に基づいて、写真を合成し、修正することを目的としている。 Deep Plastic Surgeryは、手書きのスケッチ入力を使って画像のインタラクティブな編集を可能にする、新しくて堅牢で制御可能な画像編集フレームワークである。
  論文  参考訳（メタデータ） (2020-01-09T08:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。