論文の概要: DaReNeRF: Direction-aware Representation for Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2403.02265v1
• Date: Mon, 4 Mar 2024 17:54:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 17:47:15.357323
• Title: DaReNeRF: Direction-aware Representation for Dynamic Scenes
• Title（参考訳）: DaReNeRF:動的シーンの方向認識表現
• Authors: Ange Lou, Benjamin Planche, Zhongpai Gao, Yamin Li, Tianyu Luan, Hao Ding, Terrence Chen, Jack Noble, Ziyan Wu
• Abstract要約: 本稿では,6つの方向からダイナミクスを捉える新しい方向認識表現(DaRe)手法を提案する。 DaReNeRFは、これらの回収された平面から融合することで、各時空点の特徴を計算する。 DaReNeRFは、先行技術に比べてトレーニング時間を2倍削減し、優れたパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 24.752909256748158
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Addressing the intricate challenge of modeling and re-rendering dynamic scenes, most recent approaches have sought to simplify these complexities using plane-based explicit representations, overcoming the slow training time issues associated with methods like Neural Radiance Fields (NeRF) and implicit representations. However, the straightforward decomposition of 4D dynamic scenes into multiple 2D plane-based representations proves insufficient for re-rendering high-fidelity scenes with complex motions. In response, we present a novel direction-aware representation (DaRe) approach that captures scene dynamics from six different directions. This learned representation undergoes an inverse dual-tree complex wavelet transformation (DTCWT) to recover plane-based information. DaReNeRF computes features for each space-time point by fusing vectors from these recovered planes. Combining DaReNeRF with a tiny MLP for color regression and leveraging volume rendering in training yield state-of-the-art performance in novel view synthesis for complex dynamic scenes. Notably, to address redundancy introduced by the six real and six imaginary direction-aware wavelet coefficients, we introduce a trainable masking approach, mitigating storage issues without significant performance decline. Moreover, DaReNeRF maintains a 2x reduction in training time compared to prior art while delivering superior performance.
• Abstract（参考訳）: 動的シーンのモデリングと再レンダリングという複雑な課題に対処するため、最近のアプローチでは、平面ベースの明示的な表現を使ってこれらの複雑さを単純化しようと試みている。 しかし、4次元ダイナミックシーンを複数の2次元平面ベース表現に簡単に分解することは、複雑な動きを持つ高忠実なシーンを再レンダリングするには不十分である。 そこで,我々は6つの異なる方向からシーンのダイナミクスを捉えた新しい方向認識表現(dare)アプローチを提案する。 この学習された表現は、平面ベースの情報を復元するために逆双木複素ウェーブレット変換(dtcwt)を行う。 DaReNeRFは、これらの回収された平面からベクトルを融合させることで、各時空点の特徴を計算する。 DaReNeRFと小さなMLPを組み合わせることで、複雑なダイナミックシーンのための新しいビュー合成において、トレーニングにおけるボリュームレンダリングを活用できる。 特に、6つの実数および6つの仮想方向対応ウェーブレット係数によって導入された冗長性に対処するために、トレーニング可能なマスキング手法を導入する。 さらに、DaReNeRFは、先行技術に比べてトレーニング時間を2倍削減し、優れた性能を提供する。

関連論文リスト

• DaRePlane: Direction-aware Representations for Dynamic Scene Reconstruction [26.39519157164198]
  DaRePlaneは、6つの異なる方向からダイナミクスをキャプチャする新しい表現手法である。 DaRePlaneは様々な複雑なダイナミックシーンのための新しいビュー合成において最先端のパフォーマンスを得る。
  論文  参考訳（メタデータ） (2024-10-18T04:19:10Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Neural Residual Radiance Fields for Streamably Free-Viewpoint Videos [69.22032459870242]
  本稿では,Residual Radiance Field(ReRF)という新しい手法を提案する。 このような戦略は品質を犠牲にすることなく大きな動きを扱えることを示す。 ReRFに基づいて,3桁の圧縮率を達成する特別なFVVを設計し,ダイナミックシーンの長期FVVのオンラインストリーミングをサポートするReRFプレーヤを提供する。
  論文  参考訳（メタデータ） (2023-04-10T08:36:00Z)
• Unbiased 4D: Monocular 4D Reconstruction with a Neural Deformation Model [76.64071133839862]
  モノクロRGBビデオから一般的なデフォーミングシーンをキャプチャすることは、多くのコンピュータグラフィックスや視覚アプリケーションにとって不可欠である。 提案手法であるUb4Dは、大きな変形を処理し、閉塞領域での形状補完を行い、可変ボリュームレンダリングを用いて、単眼のRGBビデオを直接操作することができる。 我々の新しいデータセットの結果は公開され、表面の復元精度と大きな変形に対する堅牢性の観点から、技術の現状が明らかに改善されていることを実証する。
  論文  参考訳（メタデータ） (2022-06-16T17:59:54Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
  タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。 我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。 TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
  論文  参考訳（メタデータ） (2022-05-30T17:47:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。