論文の概要: OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2305.14831v1
• Date: Wed, 24 May 2023 07:36:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 18:42:36.991077
• Title: OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields
• Title（参考訳）: od-nerf: on-the-fly dynamic neural radiance fieldの効率的なトレーニング
• Authors: Zhiwen Yan, Chen Li, Gim Hee Lee
• Abstract要約: ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
• 参考スコア（独自算出の注目度）: 63.04781030984006
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dynamic neural radiance fields (dynamic NeRFs) have demonstrated impressive results in novel view synthesis on 3D dynamic scenes. However, they often require complete video sequences for training followed by novel view synthesis, which is similar to playing back the recording of a dynamic 3D scene. In contrast, we propose OD-NeRF to efficiently train and render dynamic NeRFs on-the-fly which instead is capable of streaming the dynamic scene. When training on-the-fly, the training frames become available sequentially and the model is trained and rendered frame-by-frame. The key challenge of efficient on-the-fly training is how to utilize the radiance field estimated from the previous frames effectively. To tackle this challenge, we propose: 1) a NeRF model conditioned on the multi-view projected colors to implicitly track correspondence between the current and previous frames, and 2) a transition and update algorithm that leverages the occupancy grid from the last frame to sample efficiently at the current frame. Our algorithm can achieve an interactive speed of 6FPS training and rendering on synthetic dynamic scenes on-the-fly, and a significant speed-up compared to the state-of-the-art on real-world dynamic scenes.
• Abstract（参考訳）: dynamic neural radiance fields (dynamic nerfs) は3次元動的シーンの新たなビュー合成において印象的な結果を示している。 しかし、訓練のための完全なビデオシーケンスと、ダイナミックな3dシーンの再生に類似した、新しいビュー合成を必要とすることが多い。 一方,本研究では,ダイナミックシーンをストリーミング可能な動的NeRFを効率よく訓練し,レンダリングするOD-NeRFを提案する。 オンザフライのトレーニングでは、トレーニングフレームが順次利用可能になり、モデルがトレーニングされ、フレーム単位でレンダリングされる。 効率の良いオンザフライトレーニングの鍵となる課題は、前のフレームから推定した放射能場を効果的に活用する方法である。 この課題に取り組むために 提案します 1) 今のフレームと前のフレームの対応を暗黙的に追跡する多視点投影色に条件付きNeRFモデル 2)最後のフレームからの占有グリッドを利用して,現在のフレームで効率的にサンプリングを行う遷移更新アルゴリズム。 本アルゴリズムは,実世界の動的シーンにおける最先端技術と比較して,インタラクティブな6fpsトレーニングと合成動的シーンのレンダリングを実現することができる。

関連論文リスト

• NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
  本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。 NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。 本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-10T11:14:30Z)
• DynMF: Neural Motion Factorization for Real-time Dynamic View Synthesis with 3D Gaussian Splatting [35.69069478773709]
  動的シーンの点当たりの運動は、明示的あるいは学習的な軌跡の小さなセットに分解することができると論じる。 我々の表現は解釈可能であり、効率的であり、複雑な動的シーンの動きのリアルタイムなビュー合成を提供するのに十分な表現力を持っている。
  論文  参考訳（メタデータ） (2023-11-30T18:59:11Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• Mixed Neural Voxels for Fast Multi-view Video Synthesis [16.25013978657888]
  高速なトレーニング速度と競争性のあるレンダリング特性を持つ動的シーンをよりよく表現するための,MixVoxels という新しい手法を提案する。 提案したMixVoxelsは、4D動的シーンを静的および動的ボクセルの混合として表現し、異なるネットワークで処理する。 300コマビデオの入力によるダイナミックシーンの15分間のトレーニングにより、MixVoxelsは従来の方法よりも優れたPSNRを実現している。
  論文  参考訳（メタデータ） (2022-12-01T00:26:45Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。