論文の概要: UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling

• arxiv url: http://arxiv.org/abs/2403.11589v1
• Date: Mon, 18 Mar 2024 09:03:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 15:57:28.196911
• Title: UV Gaussians: Joint Learning of Mesh Deformation and Gaussian Textures for Human Avatar Modeling
• Title（参考訳）: UVガウス:人間のアバターモデリングのためのメッシュ変形とガウステクスチャの合同学習
• Authors: Yujiao Jiang, Qingmin Liao, Xiaoyu Li, Li Ma, Qi Zhang, Chaopeng Zhang, Zongqing Lu, Ying Shan,
• Abstract要約: メッシュ変形と2次元UV空間のガウステクスチャを共同学習することで3次元人体をモデル化するUVガウスアンを提案する。 我々は,多視点画像,走査モデル,パラメトリックモデル登録,およびそれに対応するテクスチャマップを含む,人間の動作の新たなデータセットを収集し,処理する。
• 参考スコア（独自算出の注目度）: 71.87807614875497
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reconstructing photo-realistic drivable human avatars from multi-view image sequences has been a popular and challenging topic in the field of computer vision and graphics. While existing NeRF-based methods can achieve high-quality novel view rendering of human models, both training and inference processes are time-consuming. Recent approaches have utilized 3D Gaussians to represent the human body, enabling faster training and rendering. However, they undermine the importance of the mesh guidance and directly predict Gaussians in 3D space with coarse mesh guidance. This hinders the learning procedure of the Gaussians and tends to produce blurry textures. Therefore, we propose UV Gaussians, which models the 3D human body by jointly learning mesh deformations and 2D UV-space Gaussian textures. We utilize the embedding of UV map to learn Gaussian textures in 2D space, leveraging the capabilities of powerful 2D networks to extract features. Additionally, through an independent Mesh network, we optimize pose-dependent geometric deformations, thereby guiding Gaussian rendering and significantly enhancing rendering quality. We collect and process a new dataset of human motion, which includes multi-view images, scanned models, parametric model registration, and corresponding texture maps. Experimental results demonstrate that our method achieves state-of-the-art synthesis of novel view and novel pose. The code and data will be made available on the homepage https://alex-jyj.github.io/UV-Gaussians/ once the paper is accepted.
• Abstract（参考訳）: 多視点画像シーケンスからフォトリアリスティックドライビング可能な人間のアバターを再構成することは、コンピュータビジョンとグラフィックスの分野で人気があり、挑戦的な話題となっている。 既存のNeRFベースの手法は、人間のモデルの高品質な新しいビューレンダリングを実現することができるが、トレーニングと推論プロセスはどちらも時間がかかる。 最近のアプローチでは、人体を表現するために3Dガウスを使い、より高速なトレーニングとレンダリングを可能にしている。 しかし、メッシュガイダンスの重要性を損ね、粗いメッシュガイダンスで3D空間のガウスを直接予測する。 これはガウス人の学習を妨げ、ぼやけたテクスチャを生み出す傾向がある。 そこで我々は,メッシュ変形と2次元UV空間ガウステクスチャを共同学習することにより,3次元人体をモデル化するUVガウスアンを提案する。 2次元空間におけるガウステクスチャの学習にはUVマップの埋め込みを利用し、強力な2次元ネットワークの機能を活用して特徴を抽出する。 さらに、独立メッシュネットワークを通じて、ポーズ依存の幾何変形を最適化し、ガウスレンダリングを誘導し、レンダリング品質を著しく向上する。 我々は、マルチビュー画像、スキャンされたモデル、パラメトリックモデル登録、および対応するテクスチャマップを含む、人間の動きの新しいデータセットを収集し、処理する。 実験により,本手法が新規な視点と新規なポーズの最先端の合成を実現することを示す。 コードとデータはホームページ https://alex-jyj.github.io/UV-Gaussians/ で公開される。

関連論文リスト

• FAMOUS: High-Fidelity Monocular 3D Human Digitization Using View Synthesis [51.193297565630886]
  テクスチャを正確に推測することの難しさは、特に正面視画像の人物の背中のような不明瞭な領域に残る。 このテクスチャ予測の制限は、大規模で多様な3Dデータセットの不足に起因する。 本稿では,3次元デジタル化におけるテクスチャと形状予測の両立を図るために,広範囲な2次元ファッションデータセットを活用することを提案する。
  論文  参考訳（メタデータ） (2024-10-13T01:25:05Z)
• DreamMesh4D: Video-to-4D Generation with Sparse-Controlled Gaussian-Mesh Hybrid Representation [10.250715657201363]
  本稿では,メッシュ表現と幾何スキン技術を組み合わせた新しいフレームワークDreamMesh4Dを紹介し,モノクロビデオから高品質な4Dオブジェクトを生成する。 我々の手法は現代のグラフィックパイプラインと互換性があり、3Dゲームや映画産業におけるその可能性を示している。
  論文  参考訳（メタデータ） (2024-10-09T10:41:08Z)
• UVMap-ID: A Controllable and Personalized UV Map Generative Model [67.71022515856653]
  制御可能でパーソナライズされたUVマップ生成モデルであるUVMap-IDを導入する。 従来の2次元の大規模学習法とは異なり,本研究では,事前学習したテキスト・画像拡散モデルの微調整を提案する。 定量的および定性的な解析は、制御可能でパーソナライズされたUVマップ生成における本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-04-22T20:30:45Z)
• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• Animatable 3D Gaussians for High-fidelity Synthesis of Human Motions [37.50707388577952]
  本稿では,高忠実度自由視点人間の動きをリアルタイムにレンダリングするための,アニマタブルな3次元ガウスモデルを提案する。 既存のNeRFベースの手法と比較して、このモデルはビデオフレーム間のジッタリングの問題なく、高周波の詳細で優れた能力を持っている。
  論文  参考訳（メタデータ） (2023-11-22T14:00:23Z)
• GETAvatar: Generative Textured Meshes for Animatable Human Avatars [69.56959932421057]
  高品質なジオメトリとテクスチャを備えたアニマタブルな人体アバターを製作することを目的とした,3D対応フルボディヒューマンジェネレーションの課題について検討した。 アニマタブルなヒトアバターの3Dレンダリングを直接生成する生成モデルであるGETAvatarを提案する。
  論文  参考訳（メタデータ） (2023-10-04T10:30:24Z)
• VeRi3D: Generative Vertex-based Radiance Fields for 3D Controllable Human Image Synthesis [27.81573705217842]
  本研究では,パラメトリックな人体テンプレートSMPLの頂点によってパラメータ化される人体放射野であるVeRi3Dを提案する。 我々の単純なアプローチは、カメラポーズ、人間のポーズ、形状を自由に制御できるフォトリアリスティックな人間の画像を生成するだけでなく、部分レベルの編集を可能にすることを実証している。
  論文  参考訳（メタデータ） (2023-09-09T13:53:29Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
  3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。 本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。 また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
  論文  参考訳（メタデータ） (2021-04-29T07:52:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。