論文の概要: Human-Inspired Facial Sketch Synthesis with Dynamic Adaptation

• arxiv url: http://arxiv.org/abs/2309.00216v1
• Date: Fri, 1 Sep 2023 02:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-04 14:41:22.529314
• Title: Human-Inspired Facial Sketch Synthesis with Dynamic Adaptation
• Title（参考訳）: 動的適応によるヒューマンインスパイアされた顔スケッチ合成
• Authors: Fei Gao, Yifan Zhu, Chang Jiang, Nannan Wang
• Abstract要約: 顔画像から鮮明なスケッチ画像を生成することを目的とした顔画像合成(FSS)。 本稿では,Human-Inspired Dynamic Adaptation (HIDA)法を提案する。 HIDAは複数のスタイルで高品質なスケッチを生成することができ、従来の手法よりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 25.293899668984018
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Facial sketch synthesis (FSS) aims to generate a vivid sketch portrait from a given facial photo. Existing FSS methods merely rely on 2D representations of facial semantic or appearance. However, professional human artists usually use outlines or shadings to covey 3D geometry. Thus facial 3D geometry (e.g. depth map) is extremely important for FSS. Besides, different artists may use diverse drawing techniques and create multiple styles of sketches; but the style is globally consistent in a sketch. Inspired by such observations, in this paper, we propose a novel Human-Inspired Dynamic Adaptation (HIDA) method. Specially, we propose to dynamically modulate neuron activations based on a joint consideration of both facial 3D geometry and 2D appearance, as well as globally consistent style control. Besides, we use deformable convolutions at coarse-scales to align deep features, for generating abstract and distinct outlines. Experiments show that HIDA can generate high-quality sketches in multiple styles, and significantly outperforms previous methods, over a large range of challenging faces. Besides, HIDA allows precise style control of the synthesized sketch, and generalizes well to natural scenes and other artistic styles. Our code and results have been released online at: https://github.com/AiArt-HDU/HIDA.
• Abstract（参考訳）: 顔画像から鮮明なスケッチ画像を生成することを目的とした顔画像合成(FSS)。 既存のFSS法は、顔のセマンティクスや外観の2D表現にのみ依存している。 しかし、プロの人間アーティストは通常、輪郭や陰影を使って3次元の幾何学を描く。 したがって、顔の三次元形状(例えば深度マップ)はfssにとって極めて重要である。 また、異なるアーティストが多様な描画技法を使い、スケッチのスタイルを複数作成することもあるが、そのスタイルはスケッチでグローバルに一貫性がある。 そこで本研究では,Human-Inspired Dynamic Adaptation (HIDA)法を提案する。 具体的には,顔の3次元形状と2次元外観の両面を考慮したニューロン活性化の動的制御と,一貫したスタイル制御を提案する。 さらに、粗いスケールで変形可能な畳み込みを使用して、深い特徴を整列させ、抽象的かつ異なるアウトラインを生成する。 実験の結果,HIDAは複数のスタイルで高品質なスケッチを作成でき,従来の手法よりもはるかに優れていた。 また、HIDAは、合成されたスケッチの正確なスタイル制御を可能にし、自然のシーンやその他の芸術的スタイルを一般化する。 私たちのコードと結果は、https://github.com/AiArt-HDU/HIDA.comで公開されています。

関連論文リスト

• S2TD-Face: Reconstruct a Detailed 3D Face with Controllable Texture from a Single Sketch [29.068915907911432]
  アニメーションや3Dアバター,芸術デザイン,行方不明者の検索など,多くのシナリオに適用可能なスケッチから3Dテクスチャ化された顔の再構築を行う。 本稿では,S2TD-Faceと呼ばれるスケッチから,制御可能なテクスチャと詳細な3次元顔の再構成手法を提案する。
  論文  参考訳（メタデータ） (2024-08-02T12:16:07Z)
• Sketch2Human: Deep Human Generation with Disentangled Geometry and Appearance Control [27.23770287587972]
  この研究はSketch2Humanを、セマンティックスケッチでガイドされた、フルボディの人体画像生成を制御可能な最初のシステムとして紹介する。 本稿では,StyleGAN-Humanの潜伏空間からサンプル化した大規模な合成データセットを用いて訓練したスケッチエンコーダを提案する。 本手法は合成データを用いて訓練されているが,手描きスケッチも扱える。
  論文  参考訳（メタデータ） (2024-04-24T14:24:57Z)
• SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling [69.28254439393298]
  SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。 我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。 メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
  論文  参考訳（メタデータ） (2023-07-03T07:41:07Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation [51.64832538714455]
  既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
  論文  参考訳（メタデータ） (2023-02-14T06:28:42Z)
• 3D Cartoon Face Generation with Controllable Expressions from a Single GAN Image [142.047662926209]
  我々は、単一の2D GAN生成人間の顔から3次元マンガの顔形状を生成する。 我々は3次元マンガの顔の形状を再構築できるように、ポーズや照明の異なる画像を生成するために潜時符号を操作する。
  論文  参考訳（メタデータ） (2022-07-29T01:06:21Z)
• DeepPortraitDrawing: Generating Human Body Images from Freehand Sketches [75.4318318890065]
  本稿では、大まかに描かれたスケッチをリアルな人体画像に変換するためのフレームワークであるDeepDrawingを紹介する。 様々なポーズの下で複雑な体形を符号化するために,我々は局所的・言語的アプローチをとる。 本手法は,最新のスケッチ・ツー・イメージ合成技術よりもリアルな画像を生成する。
  論文  参考訳（メタデータ） (2022-05-04T14:02:45Z)
• SimpModeling: Sketching Implicit Field to Guide Mesh Modeling for 3D Animalmorphic Head Design [40.821865912127635]
  そこで本研究では,3次元動物型頭部の簡易なモデリングを支援するスケッチベースシステムであるSimpModelingを提案する。 我々は,手書きスケッチと合成スケッチの領域間を効果的に処理できる高度な暗黙的形状推論手法を用いる。 また、アーティストが手作業で作成する高品質な3D動物の頭部のデータセットにも貢献する。
  論文  参考訳（メタデータ） (2021-08-05T12:17:36Z)
• Exemplar-Based 3D Portrait Stylization [23.585334925548064]
  ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。 形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。 本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
  論文  参考訳（メタデータ） (2021-04-29T17:59:54Z)
• DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
  既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。 本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
  論文  参考訳（メタデータ） (2020-08-31T03:35:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。