論文の概要: IntrinsicAvatar: Physically Based Inverse Rendering of Dynamic Humans from Monocular Videos via Explicit Ray Tracing

• arxiv url: http://arxiv.org/abs/2312.05210v2
• Date: Thu, 11 Jul 2024 16:31:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-12 23:27:37.550690
• Title: IntrinsicAvatar: Physically Based Inverse Rendering of Dynamic Humans from Monocular Videos via Explicit Ray Tracing
• Title（参考訳）: Intrinsic Avatar:明示的レイトレーシングによる単眼映像からの動的人間の逆レンダリング
• Authors: Shaofei Wang, Božidar Antić, Andreas Geiger, Siyu Tang,
• Abstract要約: IntrinsicAvatarは、単眼ビデオのみから人間のアバターの本質的な特性を回復するための新しいアプローチである。 本手法は, 単眼映像から高品質な形状, アルベド, 材料, 照明特性を復元する。
• 参考スコア（独自算出の注目度）: 30.944495094789826
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We present IntrinsicAvatar, a novel approach to recovering the intrinsic properties of clothed human avatars including geometry, albedo, material, and environment lighting from only monocular videos. Recent advancements in human-based neural rendering have enabled high-quality geometry and appearance reconstruction of clothed humans from just monocular videos. However, these methods bake intrinsic properties such as albedo, material, and environment lighting into a single entangled neural representation. On the other hand, only a handful of works tackle the problem of estimating geometry and disentangled appearance properties of clothed humans from monocular videos. They usually achieve limited quality and disentanglement due to approximations of secondary shading effects via learned MLPs. In this work, we propose to model secondary shading effects explicitly via Monte-Carlo ray tracing. We model the rendering process of clothed humans as a volumetric scattering process, and combine ray tracing with body articulation. Our approach can recover high-quality geometry, albedo, material, and lighting properties of clothed humans from a single monocular video, without requiring supervised pre-training using ground truth materials. Furthermore, since we explicitly model the volumetric scattering process and ray tracing, our model naturally generalizes to novel poses, enabling animation of the reconstructed avatar in novel lighting conditions.
• Abstract（参考訳）: IntrinsicAvatarは、モノクロビデオのみから、幾何学、アルベド、材料、環境照明を含む人間のアバターの本質的な特性を回復するための新しいアプローチである。 近年の人間の神経レンダリングの進歩により、単眼ビデオから高品質な幾何学と外観復元が可能になった。 しかしながら、これらの手法は、アルベド、材料、環境照明などの固有の特性を単一の絡み合った神経表現に焼成する。 一方、単眼ビデオから被服の形状や外見特性を推定する問題に対処する研究はごくわずかである。 通常は、学習したMDPによる二次シェーディング効果の近似により、限られた品質とゆがみを達成する。 本研究では,モンテカルロ線トレーシングによる二次シェーディング効果のモデル化を提案する。 我々は,布を被った人間のレンダリング過程を体積散乱過程としてモデル化し,レイトレーシングと体調を併用する。 提案手法は, 単眼映像から高品質な形状, アルベド, 素材, 照明特性を復元する。 さらに、ボリューム散乱過程とレイトレーシングを明示的にモデル化するため、本モデルは自然に新しいポーズに一般化し、新しい照明条件下で再構成されたアバターのアニメーションを可能にする。

関連論文リスト

• NECA: Neural Customizable Human Avatar [36.69012172745299]
  モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。 我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
  論文  参考訳（メタデータ） (2024-03-15T14:23:06Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
  多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。 NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。 我々は本手法を実データと合成データの両方で評価する。
  論文  参考訳（メタデータ） (2023-11-20T06:15:46Z)
• FLARE: Fast Learning of Animatable and Relightable Mesh Avatars [64.48254296523977]
  私たちのゴールは、幾何学的に正確で、リアルで、楽しい、現在のレンダリングシステムと互換性のあるビデオから、パーソナライズ可能な3Dアバターを効率的に学習することです。 単眼ビデオからアニマタブルアバターとリライトブルアバターの作成を可能にする技術であるFLAREを紹介する。
  論文  参考訳（メタデータ） (2023-10-26T16:13:00Z)
• Neural Fields meet Explicit Geometric Representation for Inverse Rendering of Urban Scenes [62.769186261245416]
  本稿では,大都市におけるシーン形状,空間変化材料,HDR照明を,任意の深さで描画したRGB画像の集合から共同で再構成できる新しい逆レンダリングフレームワークを提案する。 具体的には、第1の光線を考慮に入れ、第2の光線をモデリングするために、明示的なメッシュ(基礎となるニューラルネットワークから再構成)を用いて、キャストシャドウのような高次照明効果を発生させる。
  論文  参考訳（メタデータ） (2023-04-06T17:51:54Z)
• RANA: Relightable Articulated Neural Avatars [83.60081895984634]
  本稿では,ヒトの光合成のための光合成アバターであるRANAを提案する。 モノクラーRGBビデオの幾何学、テクスチャ、照明環境を両立させながら、人間をモデル化する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2022-12-06T18:59:31Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。