論文の概要: SemUV: Deep Learning based semantic manipulation over UV texture map of virtual human heads

• arxiv url: http://arxiv.org/abs/2407.00229v1
• Date: Fri, 28 Jun 2024 20:58:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 05:50:47.953646
• Title: SemUV: Deep Learning based semantic manipulation over UV texture map of virtual human heads
• Title（参考訳）: SemUV:仮想人間のUVテクスチャマップを用いたディープラーニングに基づく意味操作
• Authors: Anirban Mukherjee, Venkat Suprabath Bitra, Vignesh Bondugula, Tarun Reddy Tallapureddy, Dinesh Babu Jayagopi,
• Abstract要約: 本稿では,セムUVについて紹介する。セムUVは,FFHQ-UVデータセットを用いて,UVテクスチャ空間内でのセマンティックな操作を行う。 年齢、性別、顔の毛髪などの意味的特徴を効果的に修正しながら、アイデンティティを保存できる優れた能力を示す。
• 参考スコア（独自算出の注目度）: 2.3523009382090323
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Designing and manipulating virtual human heads is essential across various applications, including AR, VR, gaming, human-computer interaction and VFX. Traditional graphic-based approaches require manual effort and resources to achieve accurate representation of human heads. While modern deep learning techniques can generate and edit highly photorealistic images of faces, their focus remains predominantly on 2D facial images. This limitation makes them less suitable for 3D applications. Recognizing the vital role of editing within the UV texture space as a key component in the 3D graphics pipeline, our work focuses on this aspect to benefit graphic designers by providing enhanced control and precision in appearance manipulation. Research on existing methods within the UV texture space is limited, complex, and poses challenges. In this paper, we introduce SemUV: a simple and effective approach using the FFHQ-UV dataset for semantic manipulation directly within the UV texture space. We train a StyleGAN model on the publicly available FFHQ-UV dataset, and subsequently train a boundary for interpolation and semantic feature manipulation. Through experiments comparing our method with 2D manipulation technique, we demonstrate its superior ability to preserve identity while effectively modifying semantic features such as age, gender, and facial hair. Our approach is simple, agnostic to other 3D components such as structure, lighting, and rendering, and also enables seamless integration into standard 3D graphics pipelines without demanding extensive domain expertise, time, or resources.
• Abstract（参考訳）: 仮想人間の頭の設計と操作は、AR、VR、ゲーム、人間とコンピュータのインタラクション、VFXなど、さまざまなアプリケーションで必須である。 従来のグラフィックベースのアプローチは、人間の頭部の正確な表現を達成するために手作業とリソースを必要とする。 現代のディープラーニング技術は、顔の高度なフォトリアリスティックな画像を生成、編集できるが、その焦点は主に2Dの顔画像である。 この制限により、3Dアプリケーションには適さない。 3DグラフィクスパイプラインのキーコンポーネントとしてUVテクスチャ空間内での編集が重要な役割を担っていることを認識し、我々は、外観操作における制御と精度の向上によってグラフィックデザイナーに利益をもたらすために、この側面に焦点を当てた。 紫外線テクスチャ空間における既存の手法の研究は限られており、複雑であり、課題を提起している。 本稿では,セムUVについて紹介する。セムUVは,FFHQ-UVデータセットを用いて,UVテクスチャ空間内でのセマンティックな操作を行う。 FFHQ-UVデータセット上でStyleGANモデルをトレーニングし、補間と意味的特徴操作のための境界をトレーニングする。 本手法と2次元操作技術を比較した実験により,年齢,性別,顔の毛髪などの意味的特徴を効果的に修正しながら,アイデンティティを保存できる優れた能力を実証した。 私たちのアプローチはシンプルで、構造、照明、レンダリングといった他の3Dコンポーネントとは無関係です。また、ドメインの専門知識や時間、リソースを必要とせずに、標準の3Dグラフィックパイプラインへのシームレスな統合を可能にします。

関連論文リスト

• UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling [71.87807614875497]
  メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
  論文  参考訳（メタデータ） (2024-03-18T09:03:56Z)
• Nuvo: Neural UV Mapping for Unruly 3D Representations [61.87715912587394]
  既存のUVマッピングアルゴリズムは、最先端の3D再構成と生成技術によって生成された幾何学で動作する。 本稿では,3次元再構成と生成技術により生成された幾何学的手法を用いたUVマッピング手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:58:38Z)
• Differentiable Blocks World: Qualitative 3D Decomposition by Rendering Primitives [70.32817882783608]
  本稿では,3次元プリミティブを用いて,シンプルでコンパクトで動作可能な3次元世界表現を実現する手法を提案する。 既存の3次元入力データに依存するプリミティブ分解法とは異なり,本手法は画像を直接操作する。 得られたテクスチャ化されたプリミティブは入力画像を忠実に再構成し、視覚的な3Dポイントを正確にモデル化する。
  論文  参考訳（メタデータ） (2023-07-11T17:58:31Z)
• TUVF: Learning Generalizable Texture UV Radiance Fields [32.417062841312976]
  本研究では,3次元形状に直接依存するのではなく,学習可能なUV空間内でテクスチャを生成するテクスチャUVF(Texture UV Radiance Fields)を提案する。 TUVFは、テクスチャを下層の形状から切り離し、同じUV空間を共有する他の形状に転送することを可能にする。 合成および実世界のオブジェクトデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2023-05-04T17:58:05Z)
• FFHQ-UV: Normalized Facial UV-Texture Dataset for 3D Face Reconstruction [46.3392612457273]
  このデータセットには、5万以上の高品質なテクスチャUVマップが含まれており、照度、中性表現、クリーンな顔領域がある。 我々のパイプラインは、StyleGANベースの顔画像編集アプローチの最近の進歩を活用している。 実験により,本手法は最先端手法よりも再現精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-11-25T03:21:05Z)
• AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis [78.17671694498185]
  AUV-Netは,3次元表面を2次元に整列したUV空間に埋め込むことを学習する。 結果として、テクスチャはオブジェクト間で整列し、画像の生成モデルによって容易に合成できる。 学習されたUVマッピングとアライメントテクスチャ表現は、テクスチャ転送、テクスチャ合成、テクスチャ化された単一ビュー3D再構成など、さまざまなアプリケーションを可能にする。
  論文  参考訳（メタデータ） (2022-04-06T21:39:24Z)
• HVTR: Hybrid Volumetric-Textural Rendering for Human Avatars [65.82222842213577]
  本稿では,任意のポーズから人間の仮想アバターを効率よく,高品質に合成するニューラルレンダリングパイプラインを提案する。 まず,人体表面の高密度UV多様体上での人間の動きを符号化する。 次に、UV多様体上の符号化情報を利用して、3次元体積表現を構成する。
  論文  参考訳（メタデータ） (2021-12-19T17:34:15Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。