論文の概要: SelfNeRF: Fast Training NeRF for Human from Monocular Self-rotating Video

• arxiv url: http://arxiv.org/abs/2210.01651v1
• Date: Tue, 4 Oct 2022 14:54:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 15:17:50.632186
• Title: SelfNeRF: Fast Training NeRF for Human from Monocular Self-rotating Video
• Title（参考訳）: SelfNeRF: 単眼で回転するビデオから人間のための高速トレーニング用NeRF
• Authors: Bo Peng, Jun Hu, Jingtao Zhou, Juyong Zhang
• Abstract要約: SelfNeRFは、人間のパフォーマンスのための効率的な神経放射場に基づく新しいビュー合成法である。 訓練はスクラッチから行うことができ、20分ほどで高忠実度が得られる。
• 参考スコア（独自算出の注目度）: 29.50059002228373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose SelfNeRF, an efficient neural radiance field based novel view synthesis method for human performance. Given monocular self-rotating videos of human performers, SelfNeRF can train from scratch and achieve high-fidelity results in about twenty minutes. Some recent works have utilized the neural radiance field for dynamic human reconstruction. However, most of these methods need multi-view inputs and require hours of training, making it still difficult for practical use. To address this challenging problem, we introduce a surface-relative representation based on multi-resolution hash encoding that can greatly improve the training speed and aggregate inter-frame information. Extensive experimental results on several different datasets demonstrate the effectiveness and efficiency of SelfNeRF to challenging monocular videos.
• Abstract（参考訳）: 本稿では,効率的なニューラルラジアンス場に基づく新規ビュー合成法であるSelfNeRFを提案する。 人間のパフォーマーの単眼的自己回転ビデオを考えると、selfnerfはスクラッチからトレーニングし、約20分で高い忠実度を達成できる。 最近の研究では、神経放射場をダイナミックなヒトの再建に利用している。 しかし、これらの手法の多くはマルチビュー入力を必要とし、訓練に何時間もかかるため、実用上はまだ困難である。 この課題に対処するために,マルチレゾリューションハッシュ符号化に基づく表面関係表現を導入し,トレーニング速度を大幅に向上させ,フレーム間情報を集約する。 いくつかの異なるデータセットにおける広範囲な実験結果は、単眼ビデオに対するセルフナーフの有効性と効率を示している。

関連論文リスト

• GHuNeRF: Generalizable Human NeRF from a Monocular Video [63.741714198481354]
  GHuNeRFはモノクロビデオから一般化可能なヒトNeRFモデルを学習する。 広範に使われているZJU-MoCapデータセットに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-08-31T09:19:06Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Generalizable Neural Voxels for Fast Human Radiance Fields [32.84236332572778]
  モノクロ映像から人体構造を極端に高速に学習できるレンダリングフレームワークを提案する。 このフレームワークは、ニューラルフィールドとニューラルボクセルを統合して構築されている。 提案手法は,従来手法に比べてトレーニング効率が有意に向上し,レンダリング品質も同等である。
  論文  参考訳（メタデータ） (2023-03-27T17:00:31Z)
• Real-time volumetric rendering of dynamic humans [83.08068677139822]
  本研究では,モノクラービデオから動的人間の高速3次元再構成とリアルタイムレンダリングを行う手法を提案する。 提案手法は, 72時間を要する最近の最先端の代替技術と比較して, 3時間未満で動的人間を1つのGPUで再構築することができる。 新たなローカル光線マーチングレンダリングにより、モバイルVRデバイス上で、視覚的品質の損失を最小限に抑えて、ニューラルヒューマンを毎秒40フレームで可視化することができる。
  論文  参考訳（メタデータ） (2023-03-21T14:41:25Z)
• Learning Neural Volumetric Representations of Dynamic Humans in Minutes [49.10057060558854]
  本稿では,視覚的品質の競争力のある映像から,ダイナミックな人間のニューラルボリューム映像を学習するための新しい手法を提案する。 具体的には、ネットワークの表現力をよりよく人体に分散させるために、新しい部分ベースのボクセル化人間表現を定義する。 実験により,従来のシーンごとの最適化手法よりも100倍高速に学習できることが実証された。
  論文  参考訳（メタデータ） (2023-02-23T18:57:01Z)
• EfficientNeRF: Efficient Neural Radiance Fields [63.76830521051605]
  我々は,3次元シーンを表現し,新しい映像を合成する効率的なNeRF法として,EfficientNeRFを提案する。 本手法は, トレーニング時間の88%以上を短縮し, 200FPS以上のレンダリング速度を達成できるが, 競争精度は高い。
  論文  参考訳（メタデータ） (2022-06-02T05:36:44Z)
• R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis [76.07010495581535]
  一つのピクセルをレンダリングするには、数百回もNeural Radiance Fieldネットワークに問い合わせる必要がある。 NeLFは、新しい視点において、NeRFに対してより直接的な表現を提示する。 ディープNeLFネットワークをうまく学習する鍵は、十分なデータを持つことである。
  論文  参考訳（メタデータ） (2022-03-31T17:57:05Z)
• HumanNeRF: Generalizable Neural Human Radiance Field from Sparse Inputs [35.77939325296057]
  最近のニューラルヒューマン表現は高品質なマルチビューレンダリングを生成することができるが、高密度なマルチビュー入力と高価なトレーニングが必要である。 我々は、動的人間の高忠実度自由視点合成のための、一般化可能なニューラル表現であるHumanNeRFを提案する。
  論文  参考訳（メタデータ） (2021-12-06T05:22:09Z)
• Neural Human Performer: Learning Generalizable Radiance Fields for Human Performance Rendering [34.80975358673563]
  本稿では,強靭なパフォーマンスキャプチャのためのパラメトリック人体モデルに基づいて,一般化可能なニューラルラジアンス場を学習する手法を提案する。 ZJU-MoCap と AIST のデータセットを用いた実験により,本手法は近頃の一般化可能な NeRF 法よりも顕著に優れていることが示された。
  論文  参考訳（メタデータ） (2021-09-15T17:32:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。