論文の概要: Relightable Neural Human Assets from Multi-view Gradient Illuminations

• arxiv url: http://arxiv.org/abs/2212.07648v2
• Date: Fri, 16 Dec 2022 08:51:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 14:37:47.498840
• Title: Relightable Neural Human Assets from Multi-view Gradient Illuminations
• Title（参考訳）: 多視点勾配イルミネーションによる快楽性ニューラルヒューマンアセット
• Authors: Taotao Zhou, Kai He, Di Wu, Teng Xu, Qixuan Zhang, Kuixiang Shao, Wenzheng Chen, Lan Xu, Jingyi Yu
• Abstract要約: このUltraStageは、2K以上の高品質な人的資産をマルチビューとマルチイルミネーションの両方でキャプチャした新しい3D人的データセットである。 ニューラル表現の最近の進歩に触発されて、我々はそれぞれの例を任意の照明条件下で新しいビュー合成を可能にするニューラルヒューマンアセットに解釈する。
• 参考スコア（独自算出の注目度）: 39.70530019396583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human modeling and relighting are two fundamental problems in computer vision and graphics, where high-quality datasets can largely facilitate related research. However, most existing human datasets only provide multi-view human images captured under the same illumination. Although valuable for modeling tasks, they are not readily used in relighting problems. To promote research in both fields, in this paper, we present UltraStage, a new 3D human dataset that contains more than 2K high-quality human assets captured under both multi-view and multi-illumination settings. Specifically, for each example, we provide 32 surrounding views illuminated with one white light and two gradient illuminations. In addition to regular multi-view images, gradient illuminations help recover detailed surface normal and spatially-varying material maps, enabling various relighting applications. Inspired by recent advances in neural representation, we further interpret each example into a neural human asset which allows novel view synthesis under arbitrary lighting conditions. We show our neural human assets can achieve extremely high capture performance and are capable of representing fine details such as facial wrinkles and cloth folds. We also validate UltraStage in single image relighting tasks, training neural networks with virtual relighted data from neural assets and demonstrating realistic rendering improvements over prior arts. UltraStage will be publicly available to the community to stimulate significant future developments in various human modeling and rendering tasks.
• Abstract（参考訳）: 人間のモデリングとリライティングはコンピュータビジョンとグラフィックの2つの基本的な問題であり、高品質なデータセットは関連する研究を大いに促進する。 しかし、既存のヒトデータセットのほとんどは、同じ照明下で撮影されたマルチビューの人間イメージのみを提供する。 タスクのモデリングには有用だが、リライト問題に簡単には使われない。 両分野の研究を促進すべく,本稿では,マルチビューとマルチイルミネーション設定の両方で2k以上の高品質な人間のアセットを含む,新たな3dヒューマンデータセットであるultrastageを提案する。 具体的には、それぞれの例について、1つの白色光と2つの勾配照明で照らされた32の周囲ビューを提供する。 通常のマルチビュー画像に加えて、グラデーションイルミネーションは、詳細な表面正常および空間変動する物質マップの復元に役立ち、様々な照明応用を可能にする。 ニューラル表現の最近の進歩に触発されて、我々はそれぞれの例を任意の照明条件下で新しいビュー合成を可能にするニューラルヒューマンアセットに解釈する。 我々の神経質な人的資産は極めて高い捕獲性能を達成でき、顔のしわや布の折りなどの細部を表現できることを示す。 また、単一画像リライトタスクにおけるUltraStageの検証、ニューラルネットワークのトレーニング、ニューラルネットワークの仮想リライトデータ、および先行技術よりもリアルなレンダリング改善を示す。 ultrastageは、さまざまなヒューマンモデリングとレンダリングタスクにおける重要な将来の開発を刺激するために、コミュニティに公開される予定だ。

関連論文リスト

• NECA: Neural Customizable Human Avatar [36.69012172745299]
  モノクラービデオやスパースビュービデオから多目的な人間の表現を学習する手法であるNECAを紹介する。 我々のアプローチの中核は、補完的な双対空間で人間を表現し、幾何学、アルベド、シャドー、および外部照明の非絡み合った神経場を予測することである。
  論文  参考訳（メタデータ） (2024-03-15T14:23:06Z)
• Relightable Neural Actor with Intrinsic Decomposition and Pose Control [80.06094206522668]
  提案するRelightable Neural Actorは、ポーズ駆動型ニューラルヒューマンモデルを学ぶための新しいビデオベース手法である。 トレーニングのためには、既知のが静的な照明条件下での人間のマルチビュー記録のみを必要とする。 実世界のシナリオにおける我々のアプローチを評価するため、屋内と屋外の異なる光条件下で記録された4つのアイデンティティを持つ新しいデータセットを収集した。
  論文  参考訳（メタデータ） (2023-12-18T14:30:13Z)
• DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering [126.00165445599764]
  ニューラルアクターレンダリングのための人間のパフォーマンスデータの大規模かつ高忠実なリポジトリであるDNAレンダリングを提案する。 我々のデータセットには、1500人以上の被験者、5000のモーションシーケンス、67.5Mのフレームのデータボリュームが含まれています。 我々は,最大解像度4096 x 3000の60個の同期カメラと15fpsの速度,ステルカメラキャリブレーションステップを含む,データをキャプチャするプロフェッショナルなマルチビューシステムを構築した。
  論文  参考訳（メタデータ） (2023-07-19T17:58:03Z)
• Learning to Relight Portrait Images via a Virtual Light Stage and Synthetic-to-Real Adaptation [76.96499178502759]
  Relightingは、イメージ内の人物を、ターゲットの照明のある環境に現れたかのように再照らすことを目的としている。 最近の手法は、高品質な結果を得るためにディープラーニングに依存している。 そこで本研究では,光ステージを必要とせずに,SOTA(State-of-the-art Relighting Method)と同等に動作可能な新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-21T17:15:58Z)
• 3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling [111.98096975078158]
  本稿では,1つのパスを1つのパスで合成し,必要なニューラルネットワークのレンダリングサンプルのみを合成するスタイルベースの生成ネットワークを提案する。 このモデルは、任意のポーズと照明の顔画像に正確に適合し、顔の特徴を抽出し、制御可能な条件下で顔を再レンダリングするために使用できることを示す。
  論文  参考訳（メタデータ） (2022-09-15T15:28:45Z)
• Relighting4D: Neural Relightable Human from Videos [32.32424947454304]
  我々は、未知の照明下での人間の映像のみから自由視点のリライトを可能にする、原理化されたフレームワークRelighting4Dを提案する。 我々の重要な洞察は、人体の時空間的変化と反射性は、ニューラルネットワークの集合として分解できるということである。 フレームワーク全体は、正規化のために設計された物理的に情報を得た、自己管理的な方法でビデオから学習することができる。
  論文  参考訳（メタデータ） (2022-07-14T17:57:13Z)
• Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis [52.720314035084215]
  この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
  論文  参考訳（メタデータ） (2022-04-25T17:14:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。