論文の概要: NeuMan: Neural Human Radiance Field from a Single Video

• arxiv url: http://arxiv.org/abs/2203.12575v1
• Date: Wed, 23 Mar 2022 17:35:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 15:18:41.879059
• Title: NeuMan: Neural Human Radiance Field from a Single Video
• Title（参考訳）: ニューマン:超人的放射界を1本ビデオで見る
• Authors: Wei Jiang, Kwang Moo Yi, Golnoosh Samei, Oncel Tuzel, Anurag Ranjan
• Abstract要約: 我々は、人間のNeRFモデルとシーンのNeRFモデルという2つのNeRFモデルを訓練する。 本手法では,10秒間のビデオクリップから,布のしわやアクセサリなど,対象の詳細を学習することができる。
• 参考スコア（独自算出の注目度）: 26.7471970027198
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Photorealistic rendering and reposing of humans is important for enabling augmented reality experiences. We propose a novel framework to reconstruct the human and the scene that can be rendered with novel human poses and views from just a single in-the-wild video. Given a video captured by a moving camera, we train two NeRF models: a human NeRF model and a scene NeRF model. To train these models, we rely on existing methods to estimate the rough geometry of the human and the scene. Those rough geometry estimates allow us to create a warping field from the observation space to the canonical pose-independent space, where we train the human model in. Our method is able to learn subject specific details, including cloth wrinkles and accessories, from just a 10 seconds video clip, and to provide high quality renderings of the human under novel poses, from novel views, together with the background.
• Abstract（参考訳）: 人間のフォトリアリスティックなレンダリングと再現は、拡張現実体験を実現する上で重要である。 本研究では,人間とシーンを新たなポーズで再現する新しい枠組みを提案する。 動画を移動カメラで撮影すると、人間のNeRFモデルとシーンNeRFモデルという2つのNeRFモデルを訓練する。 これらのモデルをトレーニングするには、人間とシーンの粗い形状を推定する既存の手法に依存する。 これらの粗い幾何推定は、観察空間から人間のモデルを訓練する標準的なポーズ非依存空間へのゆがみ場を作ることができる。 提案手法は,10秒の映像クリップから,布のしわやアクセサリなど,特定の内容の詳細を学習し,背景とともに新規な視点から,新規なポーズ下での人間の高品質なレンダリングを提供する。

関連論文リスト

• Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
  この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。 本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。 提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
  論文  参考訳（メタデータ） (2023-11-28T12:05:41Z)
• PixelHuman: Animatable Neural Radiance Fields from Few Images [27.932366091437103]
  我々は,人の数枚の画像からアニマタブルな人間のシーンを生成する新しいレンダリングモデルであるPixelHumanを提案する。 提案手法は既存の手法と異なり, 人体合成のための任意の入力画像に一般化可能である。 実験により,本手法はマルチビューで最先端の性能を達成し,少数ショット画像から新しいポーズ合成を実現する。
  論文  参考訳（メタデータ） (2023-07-18T08:41:17Z)
• Putting People in Their Place: Affordance-Aware Human Insertion into Scenes [61.63825003487104]
  本研究では,シーンに現実的に人を挿入する手法を提示することにより,シーンの空き度を推定する問題について検討する。 マークされた地域と人物のイメージのシーン画像が与えられた場合、シーンの余裕を尊重しながら、その人物をシーンに挿入する。 本モデルでは,シーンの状況に応じたリアルなポーズのセットを推測し,参照した人物を再構成し,構成を調和させることができる。
  論文  参考訳（メタデータ） (2023-04-27T17:59:58Z)
• ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs [61.677180970486546]
  本稿では,ActorNeRFと呼ばれる新しいアニマタブルNeRFを提案する。 最初は多様な人間の被写体で事前訓練され、その後、目に見えないポーズを持つ新しい俳優のために、数発の単眼ビデオフレームで調整される。 我々は、アクターNeRFが、新しい人々への数ショットの一般化や複数のデータセットのポーズにおいて、既存の最先端技術よりも著しく優れていることを定量的に、質的に証明する。
  論文  参考訳（メタデータ） (2023-04-27T17:58:48Z)
• Compositional 3D Human-Object Neural Animation [93.38239238988719]
  人間と物体の相互作用(HOI)は、人間中心の視覚生成、AR/VR、ロボット工学などの人間中心のシーン理解アプリケーションに不可欠である。 本稿では,HoIアニメーションにおけるこの課題について,作曲の観点から考察する。 我々は、暗黙のニューラル表現に基づいてHOIダイナミクスをモデル化し、レンダリングするために、ニューラル・ヒューマン・オブジェクトの変形を採用する。
  論文  参考訳（メタデータ） (2023-04-27T10:04:56Z)
• Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition [40.46674919612935]
  Vid2Avatarは、モノクラー・イン・ザ・ワイルドビデオから人間のアバターを学習する手法である。 提案手法は,大規模な人間のスキャンデータから抽出した基礎的監督や先行データを必要としない。 シーンの人間と背景の両方を共同でモデル化することで、シーンの分解と表面の再構築を3Dで直接行う。
  論文  参考訳（メタデータ） (2023-02-22T18:59:17Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• H-NeRF: Neural Radiance Fields for Rendering and Temporal Reconstruction of Humans in Motion [42.4185273307021]
  本研究では,低周波カメラや単眼ビデオで捉えたヒトの動作をレンダリング・時間的(4D)再構成するためのH-NeRF,神経放射場について述べる。 我々のNeRFにインスパイアされたアプローチは、ニューラルシーンの表現、ノベルビューの合成、暗黙の統計的幾何学的人間の表現のアイデアを組み合わせたものです。
  論文  参考訳（メタデータ） (2021-10-26T14:51:36Z)
• Animatable Neural Radiance Fields from Monocular RGB Video [72.6101766407013]
  単眼ビデオからの詳細な人体アバター作成のためのアニマタブル神経放射場について述べる。 我々のアプローチは、明示的なポーズ誘導変形を導入することで、人間の動きを伴う動的シーンに神経放射場を拡大する。 実験の結果, 提案手法は, 1) 質の高い細部を持つ暗黙の人間の形状と外観の復元, 2) 任意の視点からの人間の写真リアルなレンダリング, 3) 任意のポーズを持つ人間のアニメーションを実現する。
  論文  参考訳（メタデータ） (2021-06-25T13:32:23Z)
• Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control [80.79820002330457]
  任意の視点と任意の制御可能なポーズの下での人間の高品質な合成法を提案する。 提案手法は,新しいポーズ合成法と同様に,再生時の最先端技術よりも優れた品質を実現し,トレーニングポーズと大きく異なる新しいポーズを一般化することができる。
  論文  参考訳（メタデータ） (2021-06-03T17:40:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。