論文の概要: Relightable Neural Actor with Intrinsic Decomposition and Pose Control
- arxiv url: http://arxiv.org/abs/2312.11587v1
- Date: Mon, 18 Dec 2023 14:30:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 18:24:13.640426
- Title: Relightable Neural Actor with Intrinsic Decomposition and Pose Control
- Title(参考訳): 内因的分解とポーズ制御を備えた快楽性ニューラルアクタ
- Authors: Diogo Luvizon and Vladislav Golyanik and Adam Kortylewski and Marc
Habermann and Christian Theobalt
- Abstract要約: Relightable Neural Actorは、リライト可能なニューラルヒューマンモデルを学習するための、最初のビデオベース手法である。
我々は、ポーズ依存の衣服の変形をモデル化する乾燥密度場を持つアクターの幾何学を表現する。
我々は、新しい人間のポーズに対する最先端のリライティング結果を実証する。
- 参考スコア(独自算出の注目度): 85.89305777719495
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Creating a digital human avatar that is relightable, drivable, and
photorealistic is a challenging and important problem in Vision and Graphics.
Humans are highly articulated creating pose-dependent appearance effects like
self-shadows and wrinkles, and skin as well as clothing require complex and
space-varying BRDF models. While recent human relighting approaches can recover
plausible material-light decompositions from multi-view video, they do not
generalize to novel poses and still suffer from visual artifacts. To address
this, we propose Relightable Neural Actor, the first video-based method for
learning a photorealistic neural human model that can be relighted, allows
appearance editing, and can be controlled by arbitrary skeletal poses.
Importantly, for learning our human avatar, we solely require a multi-view
recording of the human under a known, but static lighting condition. To achieve
this, we represent the geometry of the actor with a drivable density field that
models pose-dependent clothing deformations and provides a mapping between 3D
and UV space, where normal, visibility, and materials are encoded. To evaluate
our approach in real-world scenarios, we collect a new dataset with four actors
recorded under different light conditions, indoors and outdoors, providing the
first benchmark of its kind for human relighting, and demonstrating
state-of-the-art relighting results for novel human poses.
- Abstract(参考訳): ライティング、ドライビング、フォトリアリスティックなデジタル人間のアバターを作ることは、ビジョンとグラフィックにおいて困難で重要な問題である。
人間は、自己シャドウやしわのようなポーズ依存の外観効果を生み出し、肌や衣服は複雑で空間的なbrdfモデルを必要とする。
近年のヒューマン・リライト・アプローチは、多視点ビデオから可能な物質光分解を回復するが、それらは新しいポーズに一般化せず、まだ視覚的なアーティファクトに苦しむ。
そこで本研究では,リライティングが可能で,外観編集が可能で,任意の骨格ポーズで制御可能な,フォトリアリスティックなニューラルヒューマンモデルを学ぶための,最初のビデオベース手法であるRelightable Neural Actorを提案する。
重要なことは、人間のアバターを学習するためには、既知のが静的な照明条件下での人間の多視点記録のみが必要である。
これを実現するために,ポーズ依存の衣料変形をモデル化し,正常,視認性,材料を符号化した3d空間とuv空間のマッピングを提供する,divable density fieldのアクタの形状を表現する。
実際のシナリオにおける我々のアプローチを評価するために、屋内と屋外の異なる光条件下で記録された4人のアクターによる新しいデータセットを収集し、その種の人間のライティングのための最初のベンチマークを提供し、新しい人間のポーズに対する最先端のライティング結果を実証する。
関連論文リスト
- IntrinsicAvatar: Physically Based Inverse Rendering of Dynamic Humans
from Monocular Videos via Explicit Ray Tracing [33.804637853687446]
IntrinsicAvatarは、単眼ビデオのみから人間のアバターの本質的な特性を回復するための新しいアプローチである。
本手法は, 単眼映像から高品質な形状, アルベド, 材料, 照明特性を復元する。
論文 参考訳(メタデータ) (2023-12-08T17:58:14Z) - VINECS: Video-based Neural Character Skinning [82.39776643541383]
ポーズ依存のスキン重みを持つ完全リップ文字を作成するための完全自動アプローチを提案する。
提案手法は高密度4Dスキャンに頼らず,最先端技術よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-07-03T08:35:53Z) - Relightable Neural Human Assets from Multi-view Gradient Illuminations [39.70530019396583]
このUltraStageは、2000以上の高品質な人的資産をマルチビューとマルチイルミネーションの両方でキャプチャした、新しい3D人的データセットである。
ニューラル表現の最近の進歩に触発されて、我々はそれぞれの例を任意の照明条件下で新しいビュー合成を可能にするニューラルヒューマンアセットに解釈する。
我々の神経質な人的資産は極めて高い捕獲性能を達成でき、顔のしわや布の折りなどの細部を表現できることを示す。
論文 参考訳(メタデータ) (2022-12-15T08:06:03Z) - Neural Novel Actor: Learning a Generalized Animatable Neural
Representation for Human Actors [98.24047528960406]
本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。
学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
論文 参考訳(メタデータ) (2022-08-25T07:36:46Z) - Relighting4D: Neural Relightable Human from Videos [32.32424947454304]
我々は、未知の照明下での人間の映像のみから自由視点のリライトを可能にする、原理化されたフレームワークRelighting4Dを提案する。
我々の重要な洞察は、人体の時空間的変化と反射性は、ニューラルネットワークの集合として分解できるということである。
フレームワーク全体は、正規化のために設計された物理的に情報を得た、自己管理的な方法でビデオから学習することができる。
論文 参考訳(メタデータ) (2022-07-14T17:57:13Z) - Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。
我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。
実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
論文 参考訳(メタデータ) (2021-06-25T13:32:23Z) - Neural Actor: Neural Free-view Synthesis of Human Actors with Pose
Control [80.79820002330457]
任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。
提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
論文 参考訳(メタデータ) (2021-06-03T17:40:48Z) - Style and Pose Control for Image Synthesis of Humans from a Single
Monocular View [78.6284090004218]
StylePoseGANは、ポーズと外観のコンディショニングを別々に受け入れる非制御発電機です。
我々のネットワークは、人間のイメージで完全に教師された方法で訓練され、ポーズ、外観、体の部分を切り離すことができる。
StylePoseGANは、一般的な知覚メトリクスで最新の画像生成忠実度を実現します。
論文 参考訳(メタデータ) (2021-02-22T18:50:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。