Fugu-MT 論文翻訳(概要): S2TD-Face: Reconstruct a Detailed 3D Face with Controllable Texture from a Single Sketch

論文の概要: S2TD-Face: Reconstruct a Detailed 3D Face with Controllable Texture from a Single Sketch

arxiv url: http://arxiv.org/abs/2408.01218v1
Date: Fri, 2 Aug 2024 12:16:07 GMT
ステータス: 処理完了
システム内更新日: 2024-08-05 13:37:26.395207
Title: S2TD-Face: Reconstruct a Detailed 3D Face with Controllable Texture from a Single Sketch
Title（参考訳）: S2TD-Face:1つのスケッチから制御可能なテクスチャで詳細な3D顔の再構築
Authors: Zidu Wang, Xiangyu Zhu, Jiang Yu, Tianshuo Zhang, Zhen Lei,
Abstract要約: アニメーションや3Dアバター,芸術デザイン,行方不明者の検索など,多くのシナリオに適用可能なスケッチから3Dテクスチャ化された顔の再構築を行う。本稿では,S2TD-Faceと呼ばれるスケッチから,制御可能なテクスチャと詳細な3次元顔の再構成手法を提案する。
参考スコア（独自算出の注目度）: 29.068915907911432
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: 3D textured face reconstruction from sketches applicable in many scenarios such as animation, 3D avatars, artistic design, missing people search, etc., is a highly promising but underdeveloped research topic. On the one hand, the stylistic diversity of sketches leads to existing sketch-to-3D-face methods only being able to handle pose-limited and realistically shaded sketches. On the other hand, texture plays a vital role in representing facial appearance, yet sketches lack this information, necessitating additional texture control in the reconstruction process. This paper proposes a novel method for reconstructing controllable textured and detailed 3D faces from sketches, named S2TD-Face. S2TD-Face introduces a two-stage geometry reconstruction framework that directly reconstructs detailed geometry from the input sketch. To keep geometry consistent with the delicate strokes of the sketch, we propose a novel sketch-to-geometry loss that ensures the reconstruction accurately fits the input features like dimples and wrinkles. Our training strategies do not rely on hard-to-obtain 3D face scanning data or labor-intensive hand-drawn sketches. Furthermore, S2TD-Face introduces a texture control module utilizing text prompts to select the most suitable textures from a library and seamlessly integrate them into the geometry, resulting in a 3D detailed face with controllable texture. S2TD-Face surpasses existing state-of-the-art methods in extensive quantitative and qualitative experiments. Our project is available at https://github.com/wang-zidu/S2TD-Face .
Abstract（参考訳）: アニメーションや3Dアバター,芸術デザイン,行方不明者検索など,多くのシナリオに適用可能なスケッチから3Dテクスチャ化された顔復元は,非常に有望だが未開発な研究課題である。一方、スケッチのスタイリスティックな多様性は、ポーズ限定で現実的な陰影のスケッチのみを処理できる既存のスケッチ・ツー・3Dフェイス手法に繋がる。一方、テクスチャは顔の外観を表現する上で重要な役割を担っているが、スケッチにはこの情報が欠如しており、再構築過程において追加のテクスチャ制御が必要である。本稿では,S2TD-Faceと呼ばれるスケッチから,制御可能なテクスチャと詳細な3次元顔の再構成手法を提案する。 S2TD-Faceは2段階の幾何再構成フレームワークを導入し、入力スケッチから詳細な幾何を直接再構築する。スケッチの微妙なストロークと幾何的整合性を維持するため,ディアンプやしわなどの入力特徴を正確に再現できる新しいスケッチ・ツー・ジオメトリー・ロスを提案する。我々のトレーニング戦略は、3D顔スキャンデータや労働集約的な手描きスケッチに頼らない。さらに、S2TD-Faceは、テキストプロンプトを利用したテクスチャ制御モジュールを導入し、ライブラリから最も適したテクスチャを選択し、それらをシームレスに幾何学に統合することで、制御可能なテクスチャを持つ3Dディテールフェイスを実現する。 S2TD-Faceは、膨大な量的および定性的な実験において、既存の最先端の手法を超越している。私たちのプロジェクトはhttps://github.com/wang-zidu/S2TD-Faceで利用可能です。

関連論文リスト

Control3D: Towards Controllable Text-to-3D Generation [107.81136630589263]
本稿では,手書きスケッチ,すなわちコントロール3Dについてテキストから3D生成条件を提案する。 2次元条件付き拡散モデル(ControlNet)を再構成し、NeRFとしてパラメータ化された3次元シーンの学習を誘導する。合成3Dシーン上での描画画像のスケッチを直接推定するために,事前学習可能なフォト・ツー・スケッチ・モデルを利用する。
論文参考訳（メタデータ） (2023-11-09T15:50:32Z)
Human-Inspired Facial Sketch Synthesis with Dynamic Adaptation [25.293899668984018]
顔画像から鮮明なスケッチ画像を生成することを目的とした顔画像合成(FSS)。本稿では,Human-Inspired Dynamic Adaptation (HIDA)法を提案する。 HIDAは複数のスタイルで高品質なスケッチを生成することができ、従来の手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2023-09-01T02:27:05Z)
Towards High-Fidelity Text-Guided 3D Face Generation and Manipulation Using only Images [105.92311979305065]
TG-3DFaceは、よりリアルで美的な3D顔を生成し、ラテント3Dよりも9%のマルチビュー一貫性(MVIC)を高めている。 TG-3DFaceによって生成された描画顔画像は、テキストから2Dの顔/画像生成モデルよりも高いFIDとCLIPスコアを達成する。
論文参考訳（メタデータ） (2023-08-31T14:26:33Z)
SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling [69.28254439393298]
SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
論文参考訳（メタデータ） (2023-07-03T07:41:07Z)
Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文参考訳（メタデータ） (2023-05-04T17:58:40Z)
SimpModeling: Sketching Implicit Field to Guide Mesh Modeling for 3D Animalmorphic Head Design [40.821865912127635]
そこで本研究では,3次元動物型頭部の簡易なモデリングを支援するスケッチベースシステムであるSimpModelingを提案する。我々は,手書きスケッチと合成スケッチの領域間を効果的に処理できる高度な暗黙的形状推論手法を用いる。また、アーティストが手作業で作成する高品質な3D動物の頭部のデータセットにも貢献する。
論文参考訳（メタデータ） (2021-08-05T12:17:36Z)
Exemplar-Based 3D Portrait Stylization [23.585334925548064]
ワンショット3Dポートレートスタイル転送のための最初のフレームワークを提示する。形状が誇張され、テクスチャがスタイリングされた3Dフェイスモデルを生成することができる。本手法は,異なるスタイルの芸術的効果を強く達成し,既存の手法より優れる。
論文参考訳（メタデータ） (2021-04-29T17:59:54Z)
Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
論文参考訳（メタデータ） (2021-04-01T14:10:59Z)
DeepFacePencil: Creating Face Images from Freehand Sketches [77.00929179469559]
既存の画像から画像への変換には、大規模なスケッチと画像のデータセットが必要である。本稿では,手描きスケッチから写真リアルな顔画像を生成するための効果的なツールであるDeepFacePencilを提案する。
論文参考訳（メタデータ） (2020-08-31T03:35:21Z)
3D Shape Reconstruction from Free-Hand Sketches [42.15888734492648]
歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する努力はほとんど行われていない。インタラクティブデザインやVR/ARゲームといった3D関連アプリケーションにおけるスケッチのパワー向上を目指す。フリーハンドスケッチ3D再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性にある。
論文参考訳（メタデータ） (2020-06-17T07:43:10Z)
Landmark Detection and 3D Face Reconstruction for Caricature using a Nonlinear Parametric Model [27.553158595012974]
画像の自動ランドマーク検出と3次元顔再構成のための最初の自動手法を提案する。構築されたデータセットと非線形パラメトリックモデルに基づいて,入力された2次元似顔画像から3次元顔形状と向きを回帰するニューラルネットワークに基づく手法を提案する。
論文参考訳（メタデータ） (2020-04-20T10:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。