論文の概要: SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling

• arxiv url: http://arxiv.org/abs/2307.00804v2
• Date: Tue, 4 Jul 2023 12:21:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-06 10:47:43.829837
• Title: SketchMetaFace: A Learning-based Sketching Interface for High-fidelity 3D Character Face Modeling
• Title（参考訳）: SketchMetaFace: 高忠実度3次元顔モデリングのための学習ベースのスケッチインタフェース
• Authors: Zhongjin Luo, Dong Du, Heming Zhu, Yizhou Yu, Hongbo Fu, Xiaoguang Han
• Abstract要約: SketchMetaFaceは、アマチュアユーザーを対象に、高忠実度3D顔を数分でモデリングするスケッチシステムである。 我々は"Implicit and Depth Guided Mesh Modeling"(IDGMM)と呼ばれる新しい学習ベース手法を開発した。 メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。
• 参考スコア（独自算出の注目度）: 69.28254439393298
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Modeling 3D avatars benefits various application scenarios such as AR/VR, gaming, and filming. Character faces contribute significant diversity and vividity as a vital component of avatars. However, building 3D character face models usually requires a heavy workload with commercial tools, even for experienced artists. Various existing sketch-based tools fail to support amateurs in modeling diverse facial shapes and rich geometric details. In this paper, we present SketchMetaFace - a sketching system targeting amateur users to model high-fidelity 3D faces in minutes. We carefully design both the user interface and the underlying algorithm. First, curvature-aware strokes are adopted to better support the controllability of carving facial details. Second, considering the key problem of mapping a 2D sketch map to a 3D model, we develop a novel learning-based method termed "Implicit and Depth Guided Mesh Modeling" (IDGMM). It fuses the advantages of mesh, implicit, and depth representations to achieve high-quality results with high efficiency. In addition, to further support usability, we present a coarse-to-fine 2D sketching interface design and a data-driven stroke suggestion tool. User studies demonstrate the superiority of our system over existing modeling tools in terms of the ease to use and visual quality of results. Experimental analyses also show that IDGMM reaches a better trade-off between accuracy and efficiency. SketchMetaFace is available at https://zhongjinluo.github.io/SketchMetaFace/.
• Abstract（参考訳）: 3Dアバターのモデリングは、AR/VR、ゲーム、撮影といった様々なアプリケーションシナリオに役立つ。 キャラクターの顔は、アバターの重要な構成要素として重要な多様性と鮮度をもたらす。 しかし、3Dキャラクタフェイスモデルの構築には、経験豊富なアーティストであっても、商用ツールによる重い作業が必要になる。 既存のスケッチベースの様々なツールは、多様な顔の形と豊富な幾何学的詳細をモデル化するアマチュアをサポートするのに失敗する。 本稿では,素人ユーザを対象としたスケッチシステムであるSketchMetaFaceについて紹介する。 ユーザインタフェースと基礎となるアルゴリズムの両方を慎重に設計する。 第一に、顔の細部を彫る制御性を高めるために、曲率アウェア・ストロークが採用されている。 第二に、2Dスケッチマップを3Dモデルにマッピングする鍵となる問題を考えると、「Implicit and Depth Guided Mesh Modeling」(IDGMM)と呼ばれる新しい学習手法を開発する。 メッシュ、暗黙、深度表現の利点を融合させ、高い効率で高品質な結果を達成する。 さらに,ユーザビリティをさらに支援するために,粗い2次元スケッチインタフェース設計とデータ駆動ストローク提案ツールを提案する。 ユーザスタディは、使いやすさと結果の視覚的な品質の観点から、既存のモデリングツールよりも優れたシステムを示します。 実験により、IDGMMは精度と効率のトレードオフがより良くなることが示された。 SketchMetaFaceはhttps://zhongjinluo.github.io/SketchMetaFace/で入手できる。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• En3D: An Enhanced Generative Model for Sculpting 3D Humans from 2D Synthetic Data [36.51674664590734]
  本研究では,高品質な3次元アバターの小型化を図ったEn3Dを提案する。 従来の3Dデータセットの不足や、視角が不均衡な限られた2Dコレクションと異なり、本研究の目的は、ゼロショットで3D人間を作れる3Dの開発である。
  論文  参考訳（メタデータ） (2024-01-02T12:06:31Z)
• HyperStyle3D: Text-Guided 3D Portrait Stylization via Hypernetworks [101.36230756743106]
  本論文は,2次元画像の中間表現として,2次元領域と3次元領域を3次元フィールドで橋渡しする3次元GANの成功に着想を得たものである。 本稿では,3次元ポートレートスタイリングのための3次元認識型GANをベースとしたHyperStyle3Dという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-19T07:22:05Z)
• Make Your Brief Stroke Real and Stereoscopic: 3D-Aware Simplified Sketch to Portrait Generation [51.64832538714455]
  既存の研究は2次元平面の像のみを固定ビューで生成し、その結果を鮮明にしない。 本稿では立体視による簡易スケッチ・トゥ・ポートレート(SSSP)について述べる。 我々の重要な洞察は、三面体ベースの3D認識生成モデルの事前知識を十分に活用できるスケッチ認識制約を設計することである。
  論文  参考訳（メタデータ） (2023-02-14T06:28:42Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• SimpModeling: Sketching Implicit Field to Guide Mesh Modeling for 3D Animalmorphic Head Design [40.821865912127635]
  そこで本研究では,3次元動物型頭部の簡易なモデリングを支援するスケッチベースシステムであるSimpModelingを提案する。 我々は,手書きスケッチと合成スケッチの領域間を効果的に処理できる高度な暗黙的形状推論手法を用いる。 また、アーティストが手作業で作成する高品質な3D動物の頭部のデータセットにも貢献する。
  論文  参考訳（メタデータ） (2021-08-05T12:17:36Z)
• Interactive Annotation of 3D Object Geometry using 2D Scribbles [84.51514043814066]
  本稿では,ポイントクラウドデータとRGB画像から3次元オブジェクト形状をアノテートする対話型フレームワークを提案する。 当社のフレームワークは,芸術的,グラフィック的専門知識のないナイーブユーザを対象としている。
  論文  参考訳（メタデータ） (2020-08-24T21:51:29Z)
• JNR: Joint-based Neural Rig Representation for Compact 3D Face Modeling [22.584569656416864]
  関節型顔リグとニューラルスキンネットワークを用いた3次元顔モデル学習手法を提案する。 結合型表現のおかげで、我々のモデルは以前のブレンドシェープモデルよりもいくつかの大きな利点を享受できる。
  論文  参考訳（メタデータ） (2020-07-14T01:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。