論文の概要: D-NeRF: Neural Radiance Fields for Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2011.13961v1
- Date: Fri, 27 Nov 2020 19:06:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 02:31:59.699126
- Title: D-NeRF: Neural Radiance Fields for Dynamic Scenes
- Title（参考訳）: D-NeRF:ダイナミックシーンのためのニューラルラジアンス場
- Authors: Albert Pumarola, Enric Corona, Gerard Pons-Moll, Francesc
Moreno-Noguer
- Abstract要約: そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
- 参考スコア（独自算出の注目度）: 72.75686949608624
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural rendering techniques combining machine learning with geometric
reasoning have arisen as one of the most promising approaches for synthesizing
novel views of a scene from a sparse set of images. Among these, stands out the
Neural radiance fields (NeRF), which trains a deep network to map 5D input
coordinates (representing spatial location and viewing direction) into a volume
density and view-dependent emitted radiance. However, despite achieving an
unprecedented level of photorealism on the generated images, NeRF is only
applicable to static scenes, where the same spatial location can be queried
from different images. In this paper we introduce D-NeRF, a method that extends
neural radiance fields to a dynamic domain, allowing to reconstruct and render
novel images of objects under rigid and non-rigid motions from a \emph{single}
camera moving around the scene. For this purpose we consider time as an
additional input to the system, and split the learning process in two main
stages: one that encodes the scene into a canonical space and another that maps
this canonical representation into the deformed scene at a particular time.
Both mappings are simultaneously learned using fully-connected networks. Once
the networks are trained, D-NeRF can render novel images, controlling both the
camera view and the time variable, and thus, the object movement. We
demonstrate the effectiveness of our approach on scenes with objects under
rigid, articulated and non-rigid motions. Code, model weights and the dynamic
scenes dataset will be released.
- Abstract（参考訳）: 機械学習と幾何学的推論を組み合わせたニューラルレンダリング技術は、スパース画像からシーンの新たなビューを合成するための最も有望なアプローチの1つである。
このうちニューラル放射場(NeRF)は、深層ネットワークを訓練して5次元入力座標(空間的位置と視野方向を表す)を体積密度とビュー依存放射輝度にマッピングするものである。
しかし、生成した画像に対して前例のないレベルの光リアリズムを実現するにもかかわらず、NeRFは静止シーンのみに適用でき、同じ空間位置を異なる画像から検索することができる。
本稿では,神経放射野をダイナミックドメインに拡張する手法であるd-nerfについて紹介する。この手法により,シーンの周囲を移動する \emph{single} カメラから,剛体および非剛体運動下での新たな物体像の再構成とレンダリングが可能となる。
この目的のために、時間はシステムへの追加入力として考慮し、学習プロセスを、シーンを標準空間にエンコードする段階と、この標準表現を特定の時間で変形シーンにマッピングする段階の2つの主要な段階に分割する。
両方のマッピングは、完全に接続されたネットワークを使って同時に学習される。
ネットワークがトレーニングされると、D-NeRFは新しい画像をレンダリングし、カメラビューと時間変数の両方を制御し、オブジェクトの動きを制御する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
コード、モデルウェイト、動的シーンデータセットがリリースされる。
関連論文リスト
- DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。
本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文 参考訳（メタデータ） (2024-06-17T21:15:13Z) - Neural Groundplans: Persistent Neural Scene Representations from a
Single Image [90.04272671464238]
本稿では,シーンの2次元画像観察を永続的な3次元シーン表現にマッピングする手法を提案する。
本稿では,永続的でメモリ効率のよいシーン表現として,条件付きニューラルグラウンドプランを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:41:24Z) - Editable Free-viewpoint Video Using a Layered Neural Representation [35.44420164057911]
我々は,スパース16カメラのみを用いた大規模ダイナミックシーンの編集可能な自由視点映像生成のための最初のアプローチを提案する。
私たちのアプローチの核心は、環境そのものを含む各動的エンティティがST-NeRFと呼ばれる時空コヒーレントな神経層放射線表現に定式化される新しい階層化された神経表現です。
実験は,ダイナミックシーンにおける高品質,フォトリアリスティック,編集可能な自由視点映像生成を実現するための手法の有効性を示す。
論文 参考訳（メタデータ） (2021-04-30T06:50:45Z) - STaR: Self-supervised Tracking and Reconstruction of Rigid Objects in
Motion with Neural Rendering [9.600908665766465]
本稿では,マルチビューRGB動画のリジッドモーションによる動的シーンの自己監視追跡と再構成を,手動アノテーションなしで行う新しい手法であるSTaRについて述べる。
本手法は,空間軸と時間軸の両方で新規性を測定するフォトリアリスティック・ノベルビューを描画できることを示した。
論文 参考訳（メタデータ） (2020-12-22T23:45:28Z) - Non-Rigid Neural Radiance Fields: Reconstruction and Novel View
Synthesis of a Dynamic Scene From Monocular Video [76.19076002661157]
Non-Rigid Neural Radiance Fields (NR-NeRF) は、一般的な非剛体動的シーンに対する再構成および新しいビュー合成手法である。
一つのコンシューマ級カメラでさえ、新しい仮想カメラビューからダイナミックシーンの洗練されたレンダリングを合成するのに十分であることを示す。
論文 参考訳（メタデータ） (2020-12-22T18:46:12Z) - Neural Radiance Flow for 4D View Synthesis and Video Processing [59.9116932930108]
本稿では,RGB画像から動的シーンの4次元空間時空間表現を学習する手法を提案する。
私たちのアプローチの鍵は、シーンの3D占有率、輝度、およびダイナミクスをキャプチャすることを学ぶ神経暗黙表現を使用することです。
論文 参考訳（メタデータ） (2020-12-17T17:54:32Z) - Object-Centric Neural Scene Rendering [19.687759175741824]
本稿では,物体の撮影画像から写実的シーンを構成する手法を提案する。
私たちの研究は、暗黙的にシーンの体積密度と方向発光放射をモデル化するニューラル・ラジアンス・フィールド(NeRF)に基づいています。
我々は、オブジェクトごとの光輸送を暗黙的に、照明とビューに依存したニューラルネットワークを使ってモデル化する、オブジェクト指向神経散乱関数(OSFs)を学習する。
論文 参考訳（メタデータ） (2020-12-15T18:55:02Z) - pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。
本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。
いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
論文 参考訳（メタデータ） (2020-12-03T18:59:54Z) - Neural Sparse Voxel Fields [151.20366604586403]
高速かつ高品質な自由視点レンダリングのためのニューラルシーン表現であるNeural Sparse Voxel Fields (NSVF)を紹介する。
NSVFは、各細胞の局所特性をモデル化するために、スパース・ボクセル・オクツリーで組織された、ボクセルに結合した暗黙のフィールドのセットを定義する。
提案手法は, 高い品質を達成しつつ, 推論時の最先端技術(NeRF(Mildenhall et al., 2020))よりも10倍以上高速である。
論文 参考訳（メタデータ） (2020-07-22T17:51:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。