論文の概要: Generalizable Neural Voxels for Fast Human Radiance Fields

• arxiv url: http://arxiv.org/abs/2303.15387v1
• Date: Mon, 27 Mar 2023 17:00:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 14:17:30.374561
• Title: Generalizable Neural Voxels for Fast Human Radiance Fields
• Title（参考訳）: 高速放射場のための一般化可能なニューラルボクセル
• Authors: Taoran Yi, Jiemin Fang, Xinggang Wang, Wenyu Liu
• Abstract要約: モノクロ映像から人体構造を極端に高速に学習できるレンダリングフレームワークを提案する。 このフレームワークは、ニューラルフィールドとニューラルボクセルを統合して構築されている。 提案手法は,従来手法に比べてトレーニング効率が有意に向上し,レンダリング品質も同等である。
• 参考スコア（独自算出の注目度）: 32.84236332572778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Rendering moving human bodies at free viewpoints only from a monocular video is quite a challenging problem. The information is too sparse to model complicated human body structures and motions from both view and pose dimensions. Neural radiance fields (NeRF) have shown great power in novel view synthesis and have been applied to human body rendering. However, most current NeRF-based methods bear huge costs for both training and rendering, which impedes the wide applications in real-life scenarios. In this paper, we propose a rendering framework that can learn moving human body structures extremely quickly from a monocular video. The framework is built by integrating both neural fields and neural voxels. Especially, a set of generalizable neural voxels are constructed. With pretrained on various human bodies, these general voxels represent a basic skeleton and can provide strong geometric priors. For the fine-tuning process, individual voxels are constructed for learning differential textures, complementary to general voxels. Thus learning a novel body can be further accelerated, taking only a few minutes. Our method shows significantly higher training efficiency compared with previous methods, while maintaining similar rendering quality. The project page is at https://taoranyi.com/gneuvox .
• Abstract（参考訳）: 移動中の人体を単眼ビデオからのみ自由視点でレンダリングすることは、非常に難しい問題である。 この情報は、視覚とポーズの両方から複雑な人体構造や動きをモデル化するには小さすぎる。 ニューラルレイディアンス場(NeRF)は、新しいビュー合成において大きな力を示し、人体レンダリングに応用されている。 しかし、現在のNeRFベースのほとんどの手法は、トレーニングとレンダリングの両方に多大なコストがかかり、現実のシナリオにおける幅広い応用を妨げる。 本稿では,人間の体の構造をモノクロビデオから非常に早く学習できるレンダリングフレームワークを提案する。 このフレームワークは、ニューラルフィールドとニューラルボクセルを統合して構築されている。 特に、一般化可能な神経ボクセルの集合が構築される。 様々な人体で事前訓練されているため、これらの一般的なボクセルは基本的な骨格を表し、強い幾何学的優先を与えることができる。 微調整プロセスでは、個々のボクセルは、一般的なボクセルを補完する微分テクスチャを学習するために構築される。 これにより、新たな身体の学習を、ほんの数分でさらに加速することができる。 提案手法は,従来手法に比べてトレーニング効率が有意に向上し,レンダリング品質も同等である。 プロジェクトのページはhttps://taoranyi.com/gneuvox にある。

関連論文リスト

• Human Gaussian Splatting: Real-time Rendering of Animatable Avatars [8.719797382786464]
  この研究は、マルチビュービデオから得られたフォトリアリスティックな人体アバターのリアルタイムレンダリングの問題に対処する。 本稿では,3次元ガウススプラッティングに基づくアニマタブルな人体モデルを提案する。 提案手法は, THuman4データセット上での最先端PSNRの改善を1.5dBで実現し, リアルタイムにレンダリングできる(512x512の80 fps)。
  論文  参考訳（メタデータ） (2023-11-28T12:05:41Z)
• Novel View Synthesis of Humans using Differentiable Rendering [50.57718384229912]
  我々は新しいポーズで人々の新しい視点を合成するための新しいアプローチを提案する。 我々の合成はヒトの骨格構造を表す拡散ガウス原始体を用いる。 これらのプリミティブをレンダリングすると、高次元の潜像が得られ、デコーダネットワークによってRGBイメージに変換される。
  論文  参考訳（メタデータ） (2023-03-28T10:48:33Z)
• Efficient Meshy Neural Fields for Animatable Human Avatars [87.68529918184494]
  高忠実でアニマブルな人間のアバターをビデオから効果的にデジタル化することは、挑戦的で活発な研究課題である。 最近のレンダリングベースのニューラル表現は、フレンドリーなユーザビリティと光変化の再現性を備えた、人間のデジタル化の新しい方法を開く。 アニマタブルなヒトアバターを再構築するために,メッシュニューラルネットワークを効果的に学習する手法であるEMAを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:15:34Z)
• Real-time volumetric rendering of dynamic humans [83.08068677139822]
  本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。 提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。 新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
  論文  参考訳（メタデータ） (2023-03-21T14:41:25Z)
• Learning Neural Volumetric Representations of Dynamic Humans in Minutes [49.10057060558854]
  本稿では,視覚的品質の競争力のある映像から,ダイナミックな人間のニューラルボリューム映像を学習するための新しい手法を提案する。 具体的には、ネットワークの表現力をよりよく人体に分散させるために、新しい部分ベースのボクセル化人間表現を定義する。 実験により,従来のシーンごとの最適化手法よりも100倍高速に学習できることが実証された。
  論文  参考訳（メタデータ） (2023-02-23T18:57:01Z)
• Neural Novel Actor: Learning a Generalized Animatable Neural Representation for Human Actors [98.24047528960406]
  本稿では,複数の人物の多視点画像のスパース集合から,汎用的アニマタブルなニューラル表現を学習するための新しい手法を提案する。 学習された表現は、カメラのスパースセットから任意の人の新しいビューイメージを合成し、さらにユーザのポーズ制御でアニメーション化することができる。
  論文  参考訳（メタデータ） (2022-08-25T07:36:46Z)
• Relighting4D: Neural Relightable Human from Videos [32.32424947454304]
  我々は、未知の照明下での人間の映像のみから自由視点のリライトを可能にする、原理化されたフレームワークRelighting4Dを提案する。 我々の重要な洞察は、人体の時空間的変化と反射性は、ニューラルネットワークの集合として分解できるということである。 フレームワーク全体は、正規化のために設計された物理的に情報を得た、自己管理的な方法でビデオから学習することができる。
  論文  参考訳（メタデータ） (2022-07-14T17:57:13Z)
• HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs [35.77939325296057]
  最近のニューラルヒューマン表現は高品質なマルチビューレンダリングを生成することができるが、高密度なマルチビュー入力と高価なトレーニングが必要である。 我々は、動的人間の高忠実度自由視点合成のための、一般化可能なニューラル表現であるHumanNeRFを提案する。
  論文  参考訳（メタデータ） (2021-12-06T05:22:09Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)
• Neural Body: Implicit Neural Representations with Structured Latent Codes for Novel View Synthesis of Dynamic Humans [56.63912568777483]
  本稿では,人間の演奏者に対する新しい視点合成の課題について,カメラビューの少なさから考察する。 異なるフレームで学習されたニューラルネットワーク表現が、変形可能なメッシュにアンカーされた同じ遅延コードセットを共有することを前提とした新しい人体表現であるNeural Bodyを提案する。 ZJU-MoCapの実験により、我々の手法は、新規なビュー合成品質において、先行研究よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-12-31T18:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。