論文の概要: MeshAvatar: Learning High-quality Triangular Human Avatars from Multi-view Videos
- arxiv url: http://arxiv.org/abs/2407.08414v1
- Date: Thu, 11 Jul 2024 11:37:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-12 17:39:27.615682
- Title: MeshAvatar: Learning High-quality Triangular Human Avatars from Multi-view Videos
- Title（参考訳）: MeshAvatar: マルチビュービデオから高品質な三角形のアバターを学習する
- Authors: Yushuo Chen, Zerong Zheng, Zhe Li, Chao Xu, Yebin Liu,
- Abstract要約: 多視点ビデオから高品質な三角アバターを学習するための新しいパイプラインを提案する。
本手法は暗黙のSDFフィールドから抽出した三角メッシュでアバターを表現する。
我々は、幾何学とテクスチャを正確に分解するために物理ベースのレンダリングを取り入れた。
- 参考スコア（独自算出の注目度）: 41.45299653187577
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel pipeline for learning high-quality triangular human avatars from multi-view videos. Recent methods for avatar learning are typically based on neural radiance fields (NeRF), which is not compatible with traditional graphics pipeline and poses great challenges for operations like editing or synthesizing under different environments. To overcome these limitations, our method represents the avatar with an explicit triangular mesh extracted from an implicit SDF field, complemented by an implicit material field conditioned on given poses. Leveraging this triangular avatar representation, we incorporate physics-based rendering to accurately decompose geometry and texture. To enhance both the geometric and appearance details, we further employ a 2D UNet as the network backbone and introduce pseudo normal ground-truth as additional supervision. Experiments show that our method can learn triangular avatars with high-quality geometry reconstruction and plausible material decomposition, inherently supporting editing, manipulation or relighting operations.
- Abstract（参考訳）: 多視点ビデオから高品質な三角アバターを学習するための新しいパイプラインを提案する。
アバター学習の最近の手法は、通常、従来のグラフィックスパイプラインと互換性がなく、異なる環境下での編集や合成といった操作に大きな課題を生じさせるニューラルラディアンス場(NeRF)に基づいている。
これらの制限を克服するため,提案手法は,任意のポーズに条件付けされた暗黙の物質場によって補完される暗黙のSDFフィールドから抽出された明示的な三角形メッシュでアバターを表現する。
この三角アバター表現を活用することで、物理に基づくレンダリングを取り入れ、幾何学とテクスチャを正確に分解する。
さらに, ネットワークバックボーンとして2次元UNetを用い, 疑似常軌跡を追加監視として導入する。
実験により,高品質な幾何再構成と可塑性材料分解による三角アバターの学習が可能であることが確認された。
関連論文リスト
- HR Human: Modeling Human Avatars with Triangular Mesh and High-Resolution Textures from Videos [52.23323966700072]
本研究では,モノクロ映像から高精細な物理材料テクスチャとメッシュを付加したアバターの取得のための枠組みを提案する。
本手法では,モノクロ映像からの情報を組み合わせて仮想多視点画像の合成を行う新しい情報融合方式を提案する。
実験により, 提案手法は, 高忠実度で従来の表現よりも優れており, この明示的な結果は共通三角形への展開をサポートすることが示された。
論文 参考訳（メタデータ） (2024-05-18T11:49:09Z) - Relightable and Animatable Neural Avatars from Videos [14.091229306680697]
本研究では, 可照性でアニマタブルなニューラルアバターを作成する方法を提案する。
鍵となる課題は、幾何学、衣服の素材、照明を解体することである。
合成および実データを用いた実験により,本手法は高品質な幾何を再構成することを示した。
論文 参考訳（メタデータ） (2023-12-20T09:39:55Z) - Generalizable One-shot Neural Head Avatar [90.50492165284724]
本研究では,1枚の画像から3次元頭部アバターを再構成し,アニメイトする手法を提案する。
本研究では,一視点画像に基づく識別不能な人物を一般化するだけでなく,顔領域内外における特徴的詳細を捉えるフレームワークを提案する。
論文 参考訳（メタデータ） (2023-06-14T22:33:09Z) - PointAvatar: Deformable Point-based Head Avatars from Videos [103.43941945044294]
PointAvatarは変形可能な点ベースの表現で、原色を固有アルベドと正規依存シェーディングに分解する。
提案手法は,複数の音源からのモノクロビデオを用いて,アニマタブルな3Dアバターを生成することができることを示す。
論文 参考訳（メタデータ） (2022-12-16T10:05:31Z) - DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance
Fields for Articulated Avatars [92.37436369781692]
フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。
2Dと3Dのニューラルレンダリング技術の利点を利用する。
挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
論文 参考訳（メタデータ） (2022-03-29T17:59:15Z) - I M Avatar: Implicit Morphable Head Avatars from Videos [68.13409777995392]
モノクロビデオから暗黙の頭部アバターを学習するための新しい手法であるIMavatarを提案する。
従来の3DMMによるきめ細かい制御機構に着想を得て, 学習用ブレンドサップとスキンフィールドによる表現・ポーズ関連変形を表現した。
本手法は,最先端の手法と比較して,幾何性を改善し,より完全な表現空間をカバーできることを定量的かつ定性的に示す。
論文 参考訳（メタデータ） (2021-12-14T15:30:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。