論文の概要: MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images

• arxiv url: http://arxiv.org/abs/2203.16875v1
• Date: Thu, 31 Mar 2022 08:09:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-01 13:54:52.556124
• Title: MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images
• Title（参考訳）: MPS-NeRF:多視点画像からの汎用的な3Dレンダリング
• Authors: Xiangjun Gao, Jiaolong Yang, Jongyoo Kim, Sida Peng, Zicheng Liu, Xin Tong
• Abstract要約: 本論文は,複数視点画像のみを入力として,トレーニング中に見えない人のための新しいビューと新しいポーズのレンダリングを扱う。 鍵となる要素は、正準NeRFと体積変形スキームを組み合わせた専用表現である。 本手法の有効性を総合的に示すために,新しいビュー合成とアニメーションタスクを用いた実データと合成データの両方の実験を行った。
• 参考スコア（独自算出の注目度）: 32.84481902544513
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There has been rapid progress recently on 3D human rendering, including novel view synthesis and pose animation, based on the advances of neural radiance fields (NeRF). However, most existing methods focus on person-specific training and their training typically requires multi-view videos. This paper deals with a new challenging task -- rendering novel views and novel poses for a person unseen in training, using only multiview images as input. For this task, we propose a simple yet effective method to train a generalizable NeRF with multiview images as conditional input. The key ingredient is a dedicated representation combining a canonical NeRF and a volume deformation scheme. Using a canonical space enables our method to learn shared properties of human and easily generalize to different people. Volume deformation is used to connect the canonical space with input and target images and query image features for radiance and density prediction. We leverage the parametric 3D human model fitted on the input images to derive the deformation, which works quite well in practice when combined with our canonical NeRF. The experiments on both real and synthetic data with the novel view synthesis and pose animation tasks collectively demonstrate the efficacy of our method.
• Abstract（参考訳）: 近年,ニューラルレイディアンスフィールド(NeRF)の進歩に基づき,新しいビュー合成やポーズアニメーションを含む3次元人体レンダリングが急速に進歩している。 しかし、既存の方法の多くは個人固有のトレーニングに焦点を合わせており、訓練は通常マルチビュービデオを必要とする。 本稿では,複数視点の画像のみを入力として,新しい視点と新しいポーズをトレーニングで見ていない人に提示する,新たな課題を扱う。 そこで本研究では,多視点画像を条件入力として一般化nyrfを訓練する簡易かつ効果的な手法を提案する。 鍵となる要素は、正準NeRFと体積変形方式を組み合わせた専用表現である。 標準空間を用いることで、人間の共有特性を学習し、異なる人に容易に一般化することができる。 体積変形は、標準空間を入力およびターゲット画像と接続するために使用され、放射率と密度予測のためのクエリ画像の特徴がある。 入力画像に装着したパラメトリックな3次元人体モデルを用いて変形を導出する。 本手法の有効性を総合的に示すために,新しいビュー合成とポーズアニメーションによる実データと合成データの両方の実験を行った。

関連論文リスト

• Deformable 3D Gaussian Splatting for Animatable Human Avatars [50.61374254699761]
  本稿では,デジタルアバターを単一単分子配列で構築する手法を提案する。 ParDy-Humanは、リアルなダイナミックな人間のアバターの明示的なモデルを構成する。 当社のアバター学習には,Splatマスクなどの追加アノテーションが不要であり,ユーザのハードウェア上でも,フル解像度の画像を効率的に推測しながら,さまざまなバックグラウンドでトレーニングすることが可能である。
  論文  参考訳（メタデータ） (2023-12-22T20:56:46Z)
• PixelHuman: Animatable Neural Radiance Fields from Few Images [27.932366091437103]
  我々は,人の数枚の画像からアニマタブルな人間のシーンを生成する新しいレンダリングモデルであるPixelHumanを提案する。 提案手法は既存の手法と異なり, 人体合成のための任意の入力画像に一般化可能である。 実験により,本手法はマルチビューで最先端の性能を達成し,少数ショット画像から新しいポーズ合成を実現する。
  論文  参考訳（メタデータ） (2023-07-18T08:41:17Z)
• ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs [61.677180970486546]
  本稿では,ActorNeRFと呼ばれる新しいアニマタブルNeRFを提案する。 最初は多様な人間の被写体で事前訓練され、その後、目に見えないポーズを持つ新しい俳優のために、数発の単眼ビデオフレームで調整される。 我々は、アクターNeRFが、新しい人々への数ショットの一般化や複数のデータセットのポーズにおいて、既存の最先端技術よりも著しく優れていることを定量的に、質的に証明する。
  論文  参考訳（メタデータ） (2023-04-27T17:58:48Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• HQ3DAvatar: High Quality Controllable 3D Head Avatar [65.70885416855782]
  本稿では,高フォトリアリスティックなデジタルヘッドアバターを構築するための新しいアプローチを提案する。 本手法はニューラルネットワークによってパラメータ化された暗黙関数を用いて標準空間を学習する。 テスト時,本手法は単眼のRGBビデオによって駆動される。
  論文  参考訳（メタデータ） (2023-03-25T13:56:33Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Vision Transformer for NeRF-Based View Synthesis from a Single Input Image [49.956005709863355]
  本稿では,グローバルな特徴と局所的な特徴を両立させ,表現力のある3D表現を実現することを提案する。 新たなビューを合成するために,学習した3次元表現に条件付き多層パーセプトロン(MLP)ネットワークを訓練し,ボリュームレンダリングを行う。 提案手法は,1つの入力画像のみから新しいビューを描画し,複数のオブジェクトカテゴリを1つのモデルで一般化することができる。
  論文  参考訳（メタデータ） (2022-07-12T17:52:04Z)
• ViewFormer: NeRF-free Neural Rendering from Few Images Using Transformers [34.4824364161812]
  新たなビュー合成は、シーンやオブジェクトをスパースにカバーする少数のコンテキストビューしか与えられない、という問題です。 ゴールはシーンにおける新しい視点を予測することであり、これは学習の事前を必要とする。 ニューラルネットワークの単一パスにおいて,複数のコンテキストビューとクエリのポーズを新しい画像にマッピングする2Dのみの手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T21:08:23Z)
• HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs [35.77939325296057]
  最近のニューラルヒューマン表現は高品質なマルチビューレンダリングを生成することができるが、高密度なマルチビュー入力と高価なトレーニングが必要である。 我々は、動的人間の高忠実度自由視点合成のための、一般化可能なニューラル表現であるHumanNeRFを提案する。
  論文  参考訳（メタデータ） (2021-12-06T05:22:09Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。