論文の概要: D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2212.02375v1
- Date: Mon, 5 Dec 2022 15:57:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-06 17:52:39.621274
- Title: D-TensoRF: Tensorial Radiance Fields for Dynamic Scenes
- Title（参考訳）: D-TensoRF:動的シーンのためのテンソル放射場
- Authors: Hankyu Jang, Daeyoung Kim
- Abstract要約: 動的シーンのための合成放射場D-TensoRFを提案する。
格子をランク1ベクトル成分(CP分解)またはローランク行列成分(MM分解)に分解する。
CP分解とMM分解を併用したD-TensoRFでは,トレーニング時間が短く,メモリフットプリントも著しく低かった。
- 参考スコア（独自算出の注目度）: 2.587781533364185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural radiance field (NeRF) attracts attention as a promising approach to
reconstructing the 3D scene. As NeRF emerges, subsequent studies have been
conducted to model dynamic scenes, which include motions or topological
changes. However, most of them use an additional deformation network, slowing
down the training and rendering speed. Tensorial radiance field (TensoRF)
recently shows its potential for fast, high-quality reconstruction of static
scenes with compact model size. In this paper, we present D-TensoRF, a
tensorial radiance field for dynamic scenes, enabling novel view synthesis at a
specific time. We consider the radiance field of a dynamic scene as a 5D
tensor. The 5D tensor represents a 4D grid in which each axis corresponds to X,
Y, Z, and time and has 1D multi-channel features per element. Similar to
TensoRF, we decompose the grid either into rank-one vector components (CP
decomposition) or low-rank matrix components (newly proposed MM decomposition).
We also use smoothing regularization to reflect the relationship between
features at different times (temporal dependency). We conduct extensive
evaluations to analyze our models. We show that D-TensoRF with CP decomposition
and MM decomposition both have short training times and significantly low
memory footprints with quantitatively and qualitatively competitive rendering
results in comparison to the state-of-the-art methods in 3D dynamic scene
modeling.
- Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は3次元シーンの再構成に期待できるアプローチとして注目されている。
NeRFが出現すると、運動やトポロジカルな変化を含むダイナミックなシーンをモデル化する研究が行われた。
しかし、そのほとんどは追加の変形ネットワークを使用し、トレーニングとレンダリングの速度を遅くする。
テンソRF(Tensorial Radiance Field)は, モデルサイズがコンパクトな静的シーンの高速かつ高品質な再構成の可能性を示している。
本稿では,動的シーンのためのテンソル放射場であるD-TensoRFについて述べる。
動的シーンの放射場を5次元テンソルと考える。
5Dテンソルは、各軸がX、Y、Z、時間に対応し、要素ごとに1Dのマルチチャネル特徴を有する4Dグリッドを表す。
テンソRFと同様に、格子をランク1ベクトル成分(CP分解)またはローランク行列成分(MM分解)に分解する。
また、スムーズな正規化を使用して、異なる時間(時間的依存)における特徴間の関係を反映しています。
我々はモデルを分析するために広範囲な評価を行う。
CP分解とMM分解を併用したD-TensoRFは,3次元動的シーンモデリングにおける最先端手法と比較して,訓練時間とメモリフットプリントが著しく低く,定量的かつ質的に競合するレンダリング結果が得られることを示す。
関連論文リスト
- SCARF: Scalable Continual Learning Framework for Memory-efficient Multiple Neural Radiance Fields [9.606992888590757]
我々は,多層パーセプトロンを用いてシーンの密度と放射場を暗黙の関数としてモデル化するニューラルレージアンス場(NeRF)を構築した。
本研究では, 既往のシーンの放射界知識を新しいモデルに転送するための, 不確実な表面知識蒸留戦略を提案する。
実験の結果,提案手法はNeRF-Synthetic, LLFF, TanksAndTemplesデータセット上での連続学習NeRFの最先端のレンダリング品質を実現する。
論文 参考訳（メタデータ） (2024-09-06T03:36:12Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-11-03T17:59:55Z) - Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis [58.5779956899918]
動的シーンビュー合成と6自由度(6-DOF)追跡のタスクを同時に処理する手法を提案する。
我々は、シーンを3Dガウスアンのコレクションとしてモデル化する最近の研究に触発された、分析バイシンセサイザーの枠組みに従う。
我々は,1人称視点合成,動的合成シーン合成,4次元映像編集など,我々の表現によって実現された多数のダウンストリームアプリケーションを紹介した。
論文 参考訳（メタデータ） (2023-08-18T17:59:21Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳（メタデータ） (2023-08-16T09:50:35Z) - Template-free Articulated Neural Point Clouds for Reposable View
Synthesis [11.535440791891217]
本研究では,マルチビュー映像から動的NeRFと関連する骨格モデルを共同で学習する新しい手法を提案する。
我々のフォワードウォーピングアプローチは、新しいビューやポーズを合成する際に、最先端の視覚的忠実度を達成する。
論文 参考訳（メタデータ） (2023-05-30T14:28:08Z) - Detachable Novel Views Synthesis of Dynamic Scenes Using
Distribution-Driven Neural Radiance Fields [19.16403828672949]
カジュアルなモノクラービデオから現実のダイナミックなシーンを表現し、合成することは、長年の課題である。
我々のアプローチ $textbfD$etach は $textbfD$ynamic シーン全体から背景を取得します。
本手法は, テクスチャの細部や動き領域のレンダリングにおいて, 従来の手法よりも優れ, クリーンな静的背景を生成する。
論文 参考訳（メタデータ） (2023-01-01T14:39:09Z) - AligNeRF: High-Fidelity Neural Radiance Fields via Alignment-Aware
Training [100.33713282611448]
我々は、高分解能データによるNeRFのトレーニングに関する最初のパイロット研究を行う。
本稿では,多層パーセプトロンと畳み込み層との結合を含む,対応する解を提案する。
私たちのアプローチは、明らかなトレーニング/テストコストを導入することなく、ほぼ無償です。
論文 参考訳（メタデータ） (2022-11-17T17:22:28Z) - Fast Dynamic Radiance Fields with Time-Aware Neural Voxels [106.69049089979433]
タイムアウェアなボクセル特徴を持つシーンを表現し,TiNeuVoxという名前のラジアンスフィールドフレームワークを提案する。
我々のフレームワークは、高いレンダリング品質を維持しながら、動的ラディアンスフィールドの最適化を加速する。
TiNeuVoxは8分と8MBのストレージでトレーニングを完了しています。
論文 参考訳（メタデータ） (2022-05-30T17:47:31Z) - TensoRF: Tensorial Radiance Fields [74.16791688888081]
本稿では、放射場をモデル化・再構成するための新しいアプローチであるTensoRFを提案する。
我々は,シーンの放射界を4次元テンソルとしてモデル化し,ボクセルごとのマルチチャネル特徴を持つ3次元ボクセル格子を表現した。
CP分解したTensoRFは高速な再構成(30分)を実現し,レンダリング品質が向上し,NeRFに比べてモデルサイズが小さい(4MB)。
論文 参考訳（メタデータ） (2022-03-17T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。