論文の概要: Relightable and Animatable Neural Avatars from Videos

• arxiv url: http://arxiv.org/abs/2312.12877v1
• Date: Wed, 20 Dec 2023 09:39:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 16:01:09.624650
• Title: Relightable and Animatable Neural Avatars from Videos
• Title（参考訳）: ビデオから見る、楽しくてアニマブルなニューラルアバター
• Authors: Wenbin Lin, Chengwei Zheng, Jun-Hai Yong, Feng Xu
• Abstract要約: 本研究では, 可照性でアニマタブルなニューラルアバターを作成する方法を提案する。 鍵となる課題は、幾何学、衣服の素材、照明を解体することである。 合成および実データを用いた実験により,本手法は高品質な幾何を再構成することを示した。
• 参考スコア（独自算出の注目度）: 14.091229306680697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lightweight creation of 3D digital avatars is a highly desirable but challenging task. With only sparse videos of a person under unknown illumination, we propose a method to create relightable and animatable neural avatars, which can be used to synthesize photorealistic images of humans under novel viewpoints, body poses, and lighting. The key challenge here is to disentangle the geometry, material of the clothed body, and lighting, which becomes more difficult due to the complex geometry and shadow changes caused by body motions. To solve this ill-posed problem, we propose novel techniques to better model the geometry and shadow changes. For geometry change modeling, we propose an invertible deformation field, which helps to solve the inverse skinning problem and leads to better geometry quality. To model the spatial and temporal varying shading cues, we propose a pose-aware part-wise light visibility network to estimate light occlusion. Extensive experiments on synthetic and real datasets show that our approach reconstructs high-quality geometry and generates realistic shadows under different body poses. Code and data are available at \url{https://wenbin-lin.github.io/RelightableAvatar-page/}.
• Abstract（参考訳）: 3Dデジタルアバターの軽量化は、非常に望ましいが難しい課題だ。 未知の照明下での人物の映像は少ないが、新しい視点、身体のポーズ、照明の下で人間の写実的イメージを合成するために使用できる、再現可能でアニメーション可能な神経アバターを作成する方法を提案する。 ここでの重要な課題は、体の動きによって引き起こされる複雑な幾何学や影の変化により、その幾何学、衣服の素材、照明を解体することである。 そこで本研究では, 形状や影の変化をモデル化するための新しい手法を提案する。 幾何学的変化モデリングのために, 逆スキニング問題を解くための可逆変形場を提案し, 幾何学的品質の向上に寄与する。 空間的および時間的に変化するシェーディングキューをモデル化するために,光閉塞を推定するためのポーズ対応部分的光可視ネットワークを提案する。 合成データと実データに関する広範囲な実験により,我々は,高品質な幾何学を再構築し,異なる身体のポーズの下で現実的な影を生成する方法を示した。 コードとデータは \url{https://wenbin-lin.github.io/relightableavatar-page/} で入手できる。

関連論文リスト

• MeshAvatar: Learning High-quality Triangular Human Avatars from Multi-view Videos [41.45299653187577]
  多視点ビデオから高品質な三角アバターを学習するための新しいパイプラインを提案する。 本手法は暗黙のSDFフィールドから抽出した三角メッシュでアバターを表現する。 我々は、幾何学とテクスチャを正確に分解するために物理ベースのレンダリングを取り入れた。
  論文  参考訳（メタデータ） (2024-07-11T11:37:51Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• SEEAvatar: Photorealistic Text-to-3D Avatar Generation with Constrained Geometry and Appearance [37.85026590250023]
  テキストから光リアルな3Dアバターを生成する方法であるSEEAvatarを提案する。 幾何学において、最適化されたアバターをテンプレートアバターで適切に大域的に制限することを提案する。 外観生成には、プロンプトエンジニアリングによって強化された拡散モデルを用いて物理ベースのレンダリングパイプラインを誘導する。
  論文  参考訳（メタデータ） (2023-12-13T14:48:35Z)
• TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
  TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
  論文  参考訳（メタデータ） (2023-12-08T16:40:38Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Single-Shot Implicit Morphable Faces with Consistent Texture Parameterization [91.52882218901627]
  本稿では,3次元形態素な顔モデルを構築するための新しい手法を提案する。 本手法は, 最先端手法と比較して, フォトリアリズム, 幾何, 表現精度を向上する。
  論文  参考訳（メタデータ） (2023-05-04T17:58:40Z)
• RANA: Relightable Articulated Neural Avatars [83.60081895984634]
  本稿では,ヒトの光合成のための光合成アバターであるRANAを提案する。 モノクラーRGBビデオの幾何学、テクスチャ、照明環境を両立させながら、人間をモデル化する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-12-06T18:59:31Z)
• SPIDR: SDF-based Neural Point Fields for Illumination and Deformation [4.246563675883777]
  我々は新しいハイブリッド型ニューラルネットワークSDF表現であるSPIDRを紹介する。 環境光を学習するためのニューラル暗黙モデルを提案する。 シーンの照明をより正確に更新し,高品質な幾何編集を可能にするSPIDRの有効性を実証する。
  論文  参考訳（メタデータ） (2022-10-15T23:34:53Z)
• Geometry-aware Single-image Full-body Human Relighting [37.381122678376805]
  単一イメージの人間のリライティングは、入力画像をアルベド、形状、照明に分解することで、新たな照明条件下でターゲットの人間をリライティングすることを目的としている。 それまでの方法は、アルベドと照明の絡み合いと、硬い影の欠如に悩まされていた。 我々のフレームワークは、難易度の高い照明条件下で、キャストシャドウのような光現実性の高い高周波影を生成することができる。
  論文  参考訳（メタデータ） (2022-07-11T10:21:02Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。