論文の概要: Relightable and Animatable Neural Avatar from Sparse-View Video
- arxiv url: http://arxiv.org/abs/2308.07903v2
- Date: Thu, 17 Aug 2023 08:26:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-21 21:57:28.964395
- Title: Relightable and Animatable Neural Avatar from Sparse-View Video
- Title（参考訳）: スパースビュービデオによるリフレッシュでアニメーション可能なニューラルネットワークアバター
- Authors: Zhen Xu, Sida Peng, Chen Geng, Linzhan Mou, Zihan Yan, Jiaming Sun,
Hujun Bao, Xiaowei Zhou
- Abstract要約: 本稿では、未知の照明下でのダイナミックな人間のスパースビュー(あるいはモノクラーク)ビデオから、リライザブルでアニマタブルなニューラルアバターを作成するという課題に取り組む。
- 参考スコア（独自算出の注目度）: 66.77811288144156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper tackles the challenge of creating relightable and animatable
neural avatars from sparse-view (or even monocular) videos of dynamic humans
under unknown illumination. Compared to studio environments, this setting is
more practical and accessible but poses an extremely challenging ill-posed
problem. Previous neural human reconstruction methods are able to reconstruct
animatable avatars from sparse views using deformed Signed Distance Fields
(SDF) but cannot recover material parameters for relighting. While
differentiable inverse rendering-based methods have succeeded in material
recovery of static objects, it is not straightforward to extend them to dynamic
humans as it is computationally intensive to compute pixel-surface intersection
and light visibility on deformed SDFs for inverse rendering. To solve this
challenge, we propose a Hierarchical Distance Query (HDQ) algorithm to
approximate the world space distances under arbitrary human poses.
Specifically, we estimate coarse distances based on a parametric human model
and compute fine distances by exploiting the local deformation invariance of
SDF. Based on the HDQ algorithm, we leverage sphere tracing to efficiently
estimate the surface intersection and light visibility. This allows us to
develop the first system to recover animatable and relightable neural avatars
from sparse view (or monocular) inputs. Experiments demonstrate that our
approach is able to produce superior results compared to state-of-the-art
methods. Our code will be released for reproducibility.
- Abstract（参考訳）: 本稿では,未知の照明下での動的人間のスパースビュー(あるいは単眼)ビデオから,再現可能でアニメーション可能なニューラルネットワークアバターを作成するという課題に挑戦する。
スタジオ環境と比較すると、この設定はより実用的でアクセスしやすいが、非常に難しい問題となる。
従来のニューラル・ヒューマン・リコンストラクション法は、変形した符号付き距離場(SDF)を用いてスパースビューからアニマタブル・アバターを再構築するが、リライトのための材料パラメータを回復することはできない。
微分可能な逆レンダリングベースの手法は静的オブジェクトのマテリアルリカバリに成功しているが、それを動的人間に拡張するのは容易ではない。
この課題を解決するために,任意のポーズ下での世界空間距離を近似する階層的距離クエリ(hdq)アルゴリズムを提案する。
具体的には, パラメトリック人体モデルに基づいて粗い距離を推定し, sdfの局所変形不変性を利用して細距離を計算する。
hdqアルゴリズムに基づき、球面追跡を利用して、表面の交点と光の可視性を効率的に推定する。
これにより、スパースビュー(またはモノクラー)入力からアニマタブルでリライトブルなニューラルアバターを回収する最初のシステムを開発することができる。
実験により,最先端手法と比較して優れた結果が得られることを示した。
私たちのコードは再現性のためにリリースされます。
関連論文リスト
- Interactive Rendering of Relightable and Animatable Gaussian Avatars [37.73483372890271]
本稿では,多視点映像や単眼アバター映像から身体材料と照明を分離する簡便で効率的な方法を提案する。
提案手法は,合成データと実データの両方で高速に高品質な結果が得られる。
論文 参考訳（メタデータ） (2024-07-15T13:25:07Z) - Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。
トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。
実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
論文 参考訳（メタデータ） (2023-12-18T14:30:13Z) - FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。
単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
論文 参考訳（メタデータ） (2023-10-26T16:13:00Z) - Rendering Humans from Object-Occluded Monocular Videos [32.67336188239284]
モノクロビデオから人間を動かすことの3D理解とレンダリングは、難しい課題だ。
既存の方法は2つの理由からそのような欠陥に対処できない。
OccNeRF(OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF, OccNeRF)について述べる。
論文 参考訳（メタデータ） (2023-08-08T23:12:33Z) - HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。
本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。
テスト時,本手法は単眼のRGBビデオによって駆動される。
論文 参考訳（メタデータ） (2023-03-25T13:56:33Z) - Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。
最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。
アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
論文 参考訳（メタデータ） (2023-03-23T00:15:34Z) - Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via
Self-supervised Scene Decomposition [40.46674919612935]
Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。
提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。
シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
論文 参考訳（メタデータ） (2023-02-22T18:59:17Z) - Shape, Pose, and Appearance from a Single Image via Bootstrapped
Radiance Field Inversion [54.151979979158085]
提案手法では,自然画像に対する基本的エンドツーエンド再構築フレームワークを導入し,正確な地平のポーズが得られない。
そこで,モデルが解の第一の推算を生成するハイブリッド・インバージョン・スキームを適用する。
当社のフレームワークでは,イメージを10ステップでデレンダリングすることが可能で,現実的なシナリオで使用することが可能です。
論文 参考訳（メタデータ） (2022-11-21T17:42:42Z) - Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。
本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。
我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
論文 参考訳（メタデータ） (2022-09-18T03:58:00Z) - Neural Capture of Animatable 3D Human from Monocular Video [38.974181971541846]
本稿では,モノクラービデオ入力からアニマタブルな3次元人間の表現を構築するための新しいパラダイムを提案する。
本手法は,メッシュをベースとしたパラメトリックな3次元人体モデルを用いた動的ニューラルレージアンス場(NeRF)に基づく。
論文 参考訳（メタデータ） (2022-08-18T09:20:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。