論文の概要: Sketch-1-to-3: One Single Sketch to 3D Detailed Face Reconstruction
- arxiv url: http://arxiv.org/abs/2502.17852v1
- Date: Tue, 25 Feb 2025 04:58:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-26 15:22:20.387822
- Title: Sketch-1-to-3: One Single Sketch to 3D Detailed Face Reconstruction
- Title（参考訳）: Sketch-1-to-3:1枚のスケッチから3次元顔再構成
- Authors: Liting Wen, Zimo Yang, Xianlin Zhang, Chi Ding, Yue Zhang, Mingdao Wang, Xueming Li,
- Abstract要約: 単一スケッチからの3D顔の再構成は、重要な実用的応用のための重要な課題であるが、未調査の課題である。
Sketch-1-to-3は、1つのスケッチから現実的な3次元顔再構成のための新しいフレームワークである。
Sketch-1-to-3はスケッチベースの3次元顔再構成において最先端の性能を実現する。
- 参考スコア（独自算出の注目度）: 8.226562536837003
- License:
- Abstract: 3D face reconstruction from a single sketch is a critical yet underexplored task with significant practical applications. The primary challenges stem from the substantial modality gap between 2D sketches and 3D facial structures, including: (1) accurately extracting facial keypoints from 2D sketches; (2) preserving diverse facial expressions and fine-grained texture details; and (3) training a high-performing model with limited data. In this paper, we propose Sketch-1-to-3, a novel framework for realistic 3D face reconstruction from a single sketch, to address these challenges. Specifically, we first introduce the Geometric Contour and Texture Detail (GCTD) module, which enhances the extraction of geometric contours and texture details from facial sketches. Additionally, we design a deep learning architecture with a domain adaptation module and a tailored loss function to align sketches with the 3D facial space, enabling high-fidelity expression and texture reconstruction. To facilitate evaluation and further research, we construct SketchFaces, a real hand-drawn facial sketch dataset, and Syn-SketchFaces, a synthetic facial sketch dataset. Extensive experiments demonstrate that Sketch-1-to-3 achieves state-of-the-art performance in sketch-based 3D face reconstruction.
- Abstract（参考訳）: 単一スケッチからの3D顔の再構成は、重要な実用的応用のための重要な課題であるが、未調査の課題である。
主な課題は,(1)2次元スケッチから顔のキーポイントを正確に抽出すること,(2)多様な表情ときめ細かなテクスチャを保存すること,(3)限られたデータでハイパフォーマンスモデルを訓練すること,などである。
本論文では,これらの課題に対処するため,一枚のスケッチから現実的な3次元顔再構成を行うSketch-1-to-3を提案する。
具体的には、顔のスケッチから幾何学的輪郭やテクスチャの詳細を抽出するGeometric Contour and Texture Detail (GCTD)モジュールを最初に導入する。
さらに、ドメイン適応モジュールと、スケッチを3次元の顔空間に合わせるように調整された損失関数を備えたディープラーニングアーキテクチャを設計し、高忠実度表現とテクスチャ再構築を可能にした。
評価とさらなる研究を容易にするために,手描きの顔スケッチデータセットであるSketchFacesと,合成顔スケッチデータセットであるSyn-SketchFacesを構築した。
Sketch-1-to-3はスケッチベースの3次元顔再構成において最先端の性能を実現する。
関連論文リスト
- S2TD-Face: Reconstruct a Detailed 3D Face with Controllable Texture from a Single Sketch [29.068915907911432]
アニメーションや3Dアバター,芸術デザイン,行方不明者の検索など,多くのシナリオに適用可能なスケッチから3Dテクスチャ化された顔の再構築を行う。
本稿では,S2TD-Faceと呼ばれるスケッチから,制御可能なテクスチャと詳細な3次元顔の再構成手法を提案する。
論文 参考訳（メタデータ） (2024-08-02T12:16:07Z) - Sketch3D: Style-Consistent Guidance for Sketch-to-3D Generation [55.73399465968594]
本稿では,テキスト記述と一致する色と入力スケッチに整合した形状のリアルな3Dアセットを生成するための,新しい生成パラダイムSketch3Dを提案する。
3つの戦略は、3次元ガウスの最適化、すなわち分布伝達機構による構造最適化、直感的なMSE損失による色最適化、CLIPに基づく幾何学的類似性損失によるスケッチ類似性最適化である。
論文 参考訳（メタデータ） (2024-04-02T11:03:24Z) - Single-Shot Implicit Morphable Faces with Consistent Texture
Parameterization [91.52882218901627]
本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。
本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
論文 参考訳（メタデータ） (2023-05-04T17:58:40Z) - PAniC-3D: Stylized Single-view 3D Reconstruction from Portraits of Anime
Characters [29.107457721261387]
提案するPAniC-3Dは, (ani)me (c)haractersの図形(p)ortraitsから直接スタイリングされた3D文字を再構成するシステムである。
論文 参考訳（メタデータ） (2023-03-25T23:36:17Z) - HiFace: High-Fidelity 3D Face Reconstruction by Learning Static and
Dynamic Details [66.74088288846491]
HiFaceは、動的かつ静的なディテールで高忠実な3D顔再構成を目指している。
我々は、いくつかの損失関数を利用して、粗い形状と、合成データセットと実世界のデータセットの両方で詳細を共同で学習する。
論文 参考訳（メタデータ） (2023-03-20T16:07:02Z) - Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch
to Portrait Generation [51.64832538714455]
既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。
本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。
我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
論文 参考訳（メタデータ） (2023-02-14T06:28:42Z) - Facial Geometric Detail Recovery via Implicit Representation [147.07961322377685]
そこで本研究では,一眼の顔画像のみを用いて,テクスチャガイドを用いた幾何的細部復元手法を提案する。
提案手法は,高品質なテクスチャ補完と暗黙の面の強力な表現性を組み合わせたものである。
本手法は, 顔の正確な細部を復元するだけでなく, 正常部, アルベド部, シェーディング部を自己監督的に分解する。
論文 参考訳（メタデータ） (2022-03-18T01:42:59Z) - SimpModeling: Sketching Implicit Field to Guide Mesh Modeling for 3D
Animalmorphic Head Design [40.821865912127635]
そこで本研究では,3次元動物型頭部の簡易なモデリングを支援するスケッチベースシステムであるSimpModelingを提案する。
我々は,手書きスケッチと合成スケッチの領域間を効果的に処理できる高度な暗黙的形状推論手法を用いる。
また、アーティストが手作業で作成する高品質な3D動物の頭部のデータセットにも貢献する。
論文 参考訳（メタデータ） (2021-08-05T12:17:36Z) - Sketch2Mesh: Reconstructing and Editing 3D Shapes from Sketches [65.96417928860039]
スケッチのメッシュ変換にはエンコーダ/デコーダアーキテクチャを使用する。
このアプローチはデプロイが容易で、スタイル変更に堅牢であり、効果的であることを示します。
論文 参考訳（メタデータ） (2021-04-01T14:10:59Z) - 3D Shape Reconstruction from Free-Hand Sketches [42.15888734492648]
歪みのない線図からの3次元再構成では大きな進歩があったが、フリーハンドスケッチから3次元形状を再構築する努力はほとんど行われていない。
インタラクティブデザインやVR/ARゲームといった3D関連アプリケーションにおけるスケッチのパワー向上を目指す。
フリーハンドスケッチ3D再構成の大きな課題は、トレーニングデータ不足とフリーハンドスケッチの多様性にある。
論文 参考訳（メタデータ） (2020-06-17T07:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。