論文の概要: Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis

• arxiv url: http://arxiv.org/abs/2204.11798v1
• Date: Mon, 25 Apr 2022 17:14:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 15:31:53.137947
• Title: Generalizable Neural Performer: Learning Robust Radiance Fields for Human Novel View Synthesis
• Title（参考訳）: 一般化可能なニューラルパフォーマ:人間の新しい視点合成のためのロバスト放射場を学習する
• Authors: Wei Cheng, Su Xu, Jingtan Piao, Chen Qian, Wayne Wu, Kwan-Yee Lin, Hongsheng Li
• Abstract要約: この研究は、一般のディープラーニングフレームワークを使用して、任意の人間の演奏者の自由視点画像を合成することを目的としている。 我々は、汎用的で堅牢な神経体表現を学習するシンプルな、かつ強力なフレームワーク、Generalizable Neural Performer(GNR)を提案する。 GeneBody-1.0とZJU-Mocapの実験は、最近の最先端の一般化可能な手法よりも、我々の手法の堅牢性を示している。
• 参考スコア（独自算出の注目度）: 52.720314035084215
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work targets at using a general deep learning framework to synthesize free-viewpoint images of arbitrary human performers, only requiring a sparse number of camera views as inputs and skirting per-case fine-tuning. The large variation of geometry and appearance, caused by articulated body poses, shapes and clothing types, are the key bottlenecks of this task. To overcome these challenges, we present a simple yet powerful framework, named Generalizable Neural Performer (GNR), that learns a generalizable and robust neural body representation over various geometry and appearance. Specifically, we compress the light fields for novel view human rendering as conditional implicit neural radiance fields from both geometry and appearance aspects. We first introduce an Implicit Geometric Body Embedding strategy to enhance the robustness based on both parametric 3D human body model and multi-view images hints. We further propose a Screen-Space Occlusion-Aware Appearance Blending technique to preserve the high-quality appearance, through interpolating source view appearance to the radiance fields with a relax but approximate geometric guidance. To evaluate our method, we present our ongoing effort of constructing a dataset with remarkable complexity and diversity. The dataset GeneBody-1.0, includes over 360M frames of 370 subjects under multi-view cameras capturing, performing a large variety of pose actions, along with diverse body shapes, clothing, accessories and hairdos. Experiments on GeneBody-1.0 and ZJU-Mocap show better robustness of our methods than recent state-of-the-art generalizable methods among all cross-dataset, unseen subjects and unseen poses settings. We also demonstrate the competitiveness of our model compared with cutting-edge case-specific ones. Dataset, code and model will be made publicly available.
• Abstract（参考訳）: この研究は、一般的なディープラーニングフレームワークを使用して、任意の人間のパフォーマーのフリー視点画像を合成することを目的としている。 ボディーポーズ、形状、衣服の種類によって引き起こされる、幾何学と外観の大きなバリエーションは、このタスクの重要なボトルネックである。 これらの課題を克服するため,我々は,様々な形状や外観において汎用的でロバストなニューラルネットワーク表現を学習する,generalizable neural performer(gnr)という,単純かつ強力なフレームワークを提案する。 具体的には、光野を新しい視点の人間のレンダリングのために圧縮し、幾何学的および外観的側面から条件付き暗黙的神経放射場として表現する。 まず,パラメトリック3次元人体モデルとマルチビュー画像のヒントに基づくロバスト性を高めるために,暗黙の幾何体埋め込み戦略を導入する。 さらに,光源の外観と放射界との補間を緩和しながら近似的な幾何学的指導を施し,高品質な外観を保ちつつ,スクリーン空間のオクルージョン・アウェアな外観ブレンド手法を提案する。 本手法を評価するため,我々は,複雑性と多様性の著しいデータセットの構築を継続している。 データセットのgenebody-1.0は、マルチビューカメラで370人の被験者の360mフレームをキャプチャし、さまざまなポーズアクションを実行し、さまざまなボディシェイプ、服、アクセサリー、ヘアドーを含む。 GeneBody-1.0 と ZJU-Mocap の実験は, クロスデータセット, 見えない対象, 目に見えないポーズ設定において, 最新の最先端の一般化可能な手法よりも, 我々の手法の堅牢性を示した。 また,最先端のケース固有モデルと比較して,モデルの競争力を示す。 データセット、コード、モデルは公開される予定だ。

関連論文リスト

• TriHuman : A Real-time and Controllable Tri-plane Representation for Detailed Human Geometry and Appearance Synthesis [76.73338151115253]
  TriHumanは、人間によって調整され、変形可能で、効率的な三面体表現である。 我々は、未変形の三面体テクスチャ空間に、地球規模のサンプルを厳格にワープする。 このような三面的特徴表現が骨格運動でどのように条件付けされ、動的外観や幾何学的変化を考慮に入れられるかを示す。
  論文  参考訳（メタデータ） (2023-12-08T16:40:38Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• Self-supervised Neural Articulated Shape and Appearance Models [18.99030452836038]
  そこで本稿では, 物体の形状, 外観, 動きの表現を学習するための新しい手法を提案する。 我々の表現は、これらの意味的次元を独立的に制御できる形状、外観、調音符号を学習する。
  論文  参考訳（メタデータ） (2022-05-17T17:50:47Z)
• Neural Rendering of Humans in Novel View and Pose from Monocular Video [68.37767099240236]
  本稿では,新しい視点下で写真リアルな人間を生成し,モノクロ映像を入力として提示する新しい手法を提案する。 提案手法は,モノクラー映像を入力として,見知らぬポーズや新しい視点下での既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-04T03:09:20Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)
• Monocular Real-time Full Body Capture with Inter-part Correlations [66.22835689189237]
  本稿では,体と手の形状と運動を1色画像から動的3次元顔モデルと共に推定する,実時間フルボディキャプチャの最初の手法を提案する。 提案手法では,体と手の相関を高い計算効率で活用する新しいニューラルネットワークアーキテクチャを用いる。
  論文  参考訳（メタデータ） (2020-12-11T02:37:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。