論文の概要: 3D-CariGAN: An End-to-End Solution to 3D Caricature Generation from Face Photos

• arxiv url: http://arxiv.org/abs/2003.06841v2
• Date: Sat, 13 Nov 2021 01:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 09:06:26.220871
• Title: 3D-CariGAN: An End-to-End Solution to 3D Caricature Generation from Face Photos
• Title（参考訳）: 3D-CariGAN:顔写真から3D画像を生成するエンドツーエンドソリューション
• Authors: Zipeng Ye, Mengfei Xia, Yanan Sun, Ran Yi, Minjing Yu, Juyong Zhang, Yu-Kun Lai, Yong-jin Liu
• Abstract要約: 本稿では,通常の2次元顔画像から直接高品質な3D画像を生成するエンド・ツー・エンドのディープ・ニューラルネットワークモデルを提案する。 新たな2段階のユーザスタディを含む実験により,通常の顔写真から直接高品質な3D画像を生成することができることがわかった。
• 参考スコア（独自算出の注目度）: 78.14395302760148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Caricature is a type of artistic style of human faces that attracts considerable attention in the entertainment industry. So far a few 3D caricature generation methods exist and all of them require some caricature information (e.g., a caricature sketch or 2D caricature) as input. This kind of input, however, is difficult to provide by non-professional users. In this paper, we propose an end-to-end deep neural network model that generates high-quality 3D caricatures directly from a normal 2D face photo. The most challenging issue for our system is that the source domain of face photos (characterized by normal 2D faces) is significantly different from the target domain of 3D caricatures (characterized by 3D exaggerated face shapes and textures). To address this challenge, we: (1) build a large dataset of 5,343 3D caricature meshes and use it to establish a PCA model in the 3D caricature shape space; (2) reconstruct a normal full 3D head from the input face photo and use its PCA representation in the 3D caricature shape space to establish correspondences between the input photo and 3D caricature shape; and (3) propose a novel character loss and a novel caricature loss based on previous psychological studies on caricatures. Experiments including a novel two-level user study show that our system can generate high-quality 3D caricatures directly from normal face photos.
• Abstract（参考訳）: 似顔絵(英: Caricature)は、芸能業界で注目される人間の顔の芸術様式である。 これまでのところ、いくつかの3D似顔絵生成方法が存在し、それら全ては入力としていくつかの似顔絵情報(例えば、似顔絵や2D似顔絵)を必要とする。 しかし、このような入力はプロでないユーザーでは提供が難しい。 本稿では,通常の2次元顔画像から直接高品質な3D画像を生成するエンドツーエンドのディープニューラルネットワークモデルを提案する。 このシステムにおける最も難しい問題は、顔写真(通常の2d顔で特徴付けられる)のソース領域が3dキャラクチュアのターゲット領域(3d誇張された顔形状とテクスチャで特徴付けられる)とは大きく異なることである。 この課題に対処するために,(1)3次元似顔絵の大規模データセットを構築し,それを3次元似顔絵におけるpcaモデルの構築,(2)入力顔写真から正規のフル3dヘッドを再構築し,そのpca表現を3次元似顔絵の形状空間で使用することにより,入力写真と3次元似顔絵の対応を確立する,(3)似顔絵のこれまでの心理学的研究に基づく新しい文字損失と新しい似顔絵の損失を提案する。 新たな2段階のユーザスタディを含む実験により,通常の顔写真から直接高品質な3D画像を生成することができることがわかった。

関連論文リスト

• Toon3D: Seeing Cartoons from a New Perspective [52.85312338932685]
  我々は漫画やアニメの手描き画像に焦点をあてる。 多くの漫画は3Dレンダリングエンジンのないアーティストによって作られており、シーンの新しいイメージは手描きである。 我々は、2次元図面の不整合を補正し、新たに歪んだ図面が互いに整合するように、可視な3次元構造を復元する。
  論文  参考訳（メタデータ） (2024-05-16T17:59:51Z)
• High-Quality Face Caricature via Style Translation [1.3457834965263997]
  実世界での使用に適した,高品質で不対面の顔似似顔絵法を提案する。 顔の特徴の誇張と外観のスタイル化を2段階のプロセスで達成する。 Faceキャラクチュアプロジェクションは、実面と似顔で訓練されたエンコーダと、事前訓練されたジェネレータを用いて、実面と似顔を投影する。
  論文  参考訳（メタデータ） (2023-11-22T12:03:33Z)
• Generating Animatable 3D Cartoon Faces from Single Portraits [51.15618892675337]
  1枚のポートレート画像からアニマタブルな3Dマンガの顔を生成するための新しい枠組みを提案する。 本研究では,3次元マンガの顔のテクスチャを再現する2段階再構築手法を提案する。 最後に,手作業によるテンプレート作成と変形伝達に基づく意味保存顔リギング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-04T04:12:50Z)
• Deep Deformable 3D Caricatures with Learned Shape Control [25.5491131982863]
  3D似顔絵は、人間の顔の誇張された3D描写である。 本稿では,変形可能な表面モデルを構築するためのキャラクチュア・ベース・フレームワークを提案する。 変形可能なモデルのパラメータを学習することで3次元曲面のバリエーションを学習する。
  論文  参考訳（メタデータ） (2022-07-29T10:21:27Z)
• 3D Cartoon Face Generation with Controllable Expressions from a Single GAN Image [142.047662926209]
  我々は、単一の2D GAN生成人間の顔から3次元マンガの顔形状を生成する。 我々は3次元マンガの顔の形状を再構築できるように、ポーズや照明の異なる画像を生成するために潜時符号を操作する。
  論文  参考訳（メタデータ） (2022-07-29T01:06:21Z)
• 3DCaricShop: A Dataset and A Baseline Method for Single-view 3D Caricature Face Reconstruction [23.539931080533226]
  3DCaricShopは、プロのアーティストが手作業で作った2000の高品質な3Dキャラクチュアを含む、最初の大規模な3Dキャラクチュアデータセットである。 3DCaricShopはまた、ペアの2Dマニキュア画像、カメラパラメータ、3D顔のランドマークを含む豊富なアノテーションを提供します。 本稿では,暗黙のメッシュからキーポイントを抽出して正確なアライメントを行う新しいビューコラボレーティブグラフ畳み込みネットワーク(vcgcn)を提案する。
  論文  参考訳（メタデータ） (2021-03-15T08:24:29Z)
• FaceDet3D: Facial Expressions with 3D Geometric Detail Prediction [62.5557724039217]
  表情は3d顔形状の様々な高レベルな詳細を誘導する。 人間の顔のモルフォラブルモデル(3DMM)は、PCAベースの表現でそのような細かい詳細をキャプチャできません。 faceet3dは,1つの画像から,任意の対象表現と一致する幾何学的顔詳細を生成する,初歩的な手法である。
  論文  参考訳（メタデータ） (2020-12-14T23:07:38Z)
• Modeling Caricature Expressions by 3D Blendshape and Dynamic Texture [58.78290175562601]
  本稿では,アーティストが描いた似顔絵を正規表現に従って変形させる問題に対する解法を提案する。 本ソリューションの鍵となるのは,従来の3DMM表現をキャラクチュア領域に拡張した,キャラクチュア表現をモデル化する新しい手法である。 提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-08-13T06:31:01Z)
• Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model [27.553158595012974]
  画像の自動ランドマーク検出と3次元顔再構成のための最初の自動手法を提案する。 構築されたデータセットと非線形パラメトリックモデルに基づいて,入力された2次元似顔画像から3次元顔形状と向きを回帰するニューラルネットワークに基づく手法を提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。