論文の概要: Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis

• arxiv url: http://arxiv.org/abs/2206.07698v1
• Date: Wed, 15 Jun 2022 17:49:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-16 14:28:44.357475
• Title: Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis
• Title（参考訳）: ダイナミックビュー合成の高速最適化のためのニューラル変形可能なボクセルグリッド
• Authors: Xiang Guo, Guanying Chen, Yuchao Dai, Xiaoqing Ye, Jiadai Sun, Xiao Tan and Errui Ding
• Abstract要約: 動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 63.25919018001152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, Neural Radiance Fields (NeRF) is revolutionizing the task of novel view synthesis (NVS) for its superior performance. However, NeRF and its variants generally require a lengthy per-scene training procedure, where a multi-layer perceptron (MLP) is fitted to the captured images. To remedy the challenge, the voxel-grid representation has been proposed to significantly speed up the training. However, these existing methods can only deal with static scenes. How to develop an efficient and accurate dynamic view synthesis method remains an open problem. Extending the methods for static scenes to dynamic scenes is not straightforward as both the scene geometry and appearance change over time. In this paper, built on top of the recent advances in voxel-grid optimization, we propose a fast deformable radiance field method to handle dynamic scenes. Our method consists of two modules. The first module adopts a deformation grid to store 3D dynamic features, and a light-weight MLP for decoding the deformation that maps a 3D point in observation space to the canonical space using the interpolated features. The second module contains a density and a color grid to model the geometry and density of the scene. The occlusion is explicitly modeled to further improve the rendering quality. Experimental results show that our method achieves comparable performance to D-NeRF using only 20 minutes for training, which is more than 70x faster than D-NeRF, clearly demonstrating the efficiency of our proposed method.
• Abstract（参考訳）: 近年,Neural Radiance Fields (NeRF) は,新しいビュー合成 (NVS) の課題に革命をもたらしている。 しかし、NeRFとその変種は一般的に、キャプチャされた画像に多層パーセプトロン(MLP)を装着する、シーンごとの長い訓練手順を必要とする。 この課題を解決するために、トレーニングを著しく高速化するボクセルグリッド表現が提案されている。 しかし、これらの既存のメソッドは静的なシーンしか扱えない。 効率的かつ正確な動的ビュー合成法の開発は依然として未解決の問題である。 静的シーンのメソッドを動的シーンに拡張することは、シーンの幾何学と外観が時間とともに変化するため、簡単ではない。 本稿では,voxel-grid最適化の最近の進歩に基づいて,動的シーンを扱う高速変形可能なラミアンスフィールド法を提案する。 本手法は2つのモジュールからなる。 第1モジュールは、変形格子を用いて3次元動的特徴を記憶し、その補間特徴を用いて観測空間内の3次元点を標準空間にマッピングする変形を復号する軽量MLPである。 第2のモジュールは、シーンの形状と密度をモデル化する密度とカラーグリッドを含んでいる。 咬合は、さらにレンダリング品質を向上させるために明示的にモデル化される。 実験の結果,本手法はd-nerfよりも70倍以上高速で,トレーニング時間20分でd-nerfと同等の性能が得られることがわかった。

関連論文リスト

• Dynamic 3D Gaussian Fields for Urban Areas [60.64840836584623]
  大規模でダイナミックな都市部における新規ビュー合成(NVS)のための効率的なニューラル3Dシーン表現法を提案する。 本研究では,大規模都市にスケールするニューラルネットワークシーン表現である4DGFを提案する。
  論文  参考訳（メタデータ） (2024-06-05T12:07:39Z)
• GauFRe: Gaussian Deformation Fields for Real-time Dynamic Novel View Synthesis [17.572987038801475]
  変形可能な3次元ガウスを用いた動的シーン再構成手法を提案する。 差別化可能なパイプラインは、セルフ教師付きレンダリングでエンドツーエンドに最適化されている。 我々の手法は、最先端のニューラルラジアンス場法に匹敵する。
  論文  参考訳（メタデータ） (2023-12-18T18:59:03Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Fast-SNARF: A Fast Deformer for Articulated Neural Fields [92.68788512596254]
  本稿では,標準空間とポーズ空間の正確な対応性を求める,ニューラルフィールドのための新しい調音モジュールFast-SNARFを提案する。 Fast-SNARFはこれまでの研究であるSNARFの代替であり、計算効率は大幅に向上した。 変形マップの学習は多くの3次元人間のアバター法において重要な要素であるため、この研究は3次元仮想人間の実現に向けた重要なステップであると考えている。
  論文  参考訳（メタデータ） (2022-11-28T17:55:34Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)
• NeuralMVS: Bridging Multi-View Stereo and Novel View Synthesis [28.83180559337126]
  本稿では,高解像度カラー画像とともに,距離関数として3次元シーン形状を復元できる新しいネットワークを提案する。 提案手法では,スパース画像のみを入力として使用し,新規なシーンによく対応できる。
  論文  参考訳（メタデータ） (2021-08-09T08:59:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。