論文の概要: Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video
- arxiv url: http://arxiv.org/abs/2310.09647v2
- Date: Tue, 24 Oct 2023 11:03:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 23:05:32.713267
- Title: Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video
- Title(参考訳): ポイントDynRF:単眼ビデオからの点ベース動的放射場
- Authors: Byeongjun Park, Changick Kim
- Abstract要約: 本稿では,大域的幾何情報とボリュームレンダリング処理を,それぞれニューラルネットワークと動的放射場を用いて学習する点ベース動的放射場について紹介する。
具体的には、幾何学的プロキシから直接ニューラルポイント雲を再構成し、提案した損失を用いて放射場と幾何学的プロキシの両方を最適化する。
提案手法の有効性をNVIDIA Dynamic Scenesデータセットと因果的に捉えたモノクロビデオクリップを用いて検証した。
- 参考スコア(独自算出の注目度): 19.0733297053322
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dynamic radiance fields have emerged as a promising approach for generating
novel views from a monocular video. However, previous methods enforce the
geometric consistency to dynamic radiance fields only between adjacent input
frames, making it difficult to represent the global scene geometry and
degenerates at the viewpoint that is spatio-temporally distant from the input
camera trajectory. To solve this problem, we introduce point-based dynamic
radiance fields (\textbf{Point-DynRF}), a novel framework where the global
geometric information and the volume rendering process are trained by neural
point clouds and dynamic radiance fields, respectively. Specifically, we
reconstruct neural point clouds directly from geometric proxies and optimize
both radiance fields and the geometric proxies using our proposed losses,
allowing them to complement each other. We validate the effectiveness of our
method with experiments on the NVIDIA Dynamic Scenes Dataset and several
causally captured monocular video clips.
- Abstract(参考訳): 動的放射場は単眼ビデオから新しいビューを生成するための有望なアプローチとして現れてきた。
しかし, 従来の手法では, 隣接する入力フレーム間のみの動的放射場に対する幾何的整合性を強制し, 大域的なシーン形状を表現し, 入力カメラ軌道から時空間離れた視点で退化させることが困難であった。
この問題を解決するために、我々は、大域的幾何学情報とボリュームレンダリングプロセスがそれぞれニューラルネットワークと動的放射場によってトレーニングされる新しいフレームワークである点ベース動的放射場(\textbf{Point-DynRF})を導入する。
具体的には,幾何学的プロキシから直接ニューラルポイント雲を再構成し,提案する損失を用いて放射場と幾何学的プロキシの両方を最適化し,相互補完を可能にした。
提案手法の有効性をNVIDIA Dynamic Scenes Datasetと因果的に捉えたモノクロビデオクリップを用いて検証した。
関連論文リスト
- CTNeRF: Cross-Time Transformer for Dynamic Neural Radiance Field from
Monocular Video [26.833265073162696]
物体の動きの特徴を集約するために,時間領域と周波数領域の両方で動作するモジュールを導入する。
実験により,動的シーンデータセットにおける最先端手法に対する大幅な改善が示された。
論文 参考訳(メタデータ) (2024-01-10T00:40:05Z) - NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。
NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。
本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
論文 参考訳(メタデータ) (2023-12-10T11:14:30Z) - NePF: Neural Photon Field for Single-Stage Inverse Rendering [6.977356702921476]
多視点画像の逆レンダリングに対処するために,新しい単一ステージフレームワークNePF(Neural Photon Field)を提案する。
NePFは、神経暗黙表面の重み関数の背後にある物理的意味を完全に活用することで、この統一を実現する。
我々は本手法を実データと合成データの両方で評価する。
論文 参考訳(メタデータ) (2023-11-20T06:15:46Z) - NeuPhysics: Editable Neural Geometry and Physics from Monocular Videos [82.74918564737591]
本稿では,モノクラーRGBビデオ入力のみから動的シーンの3次元形状と物理パラメータを学習する手法を提案する。
実験により,提案手法は,競合するニューラルフィールドアプローチと比較して,動的シーンのメッシュとビデオの再構成に優れることを示した。
論文 参考訳(メタデータ) (2022-10-22T04:57:55Z) - Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering [57.775678643512435]
光場レンダリングのためのGeo-NI(Geometry-aware Neural Interpolation)フレームワークを提案する。
NIとDIBRの優位性を組み合わせることで、提案したGeo-NIは、大きな差異でビューをレンダリングすることができる。
論文 参考訳(メタデータ) (2022-06-20T12:25:34Z) - PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for
Single-Image Novel View Synthesis [52.546998369121354]
シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。
本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。
このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
論文 参考訳(メタデータ) (2022-02-10T07:39:47Z) - Neural Point Light Fields [80.98651520818785]
本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。
これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
論文 参考訳(メタデータ) (2021-12-02T18:20:10Z) - GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。
我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。
実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
論文 参考訳(メタデータ) (2021-11-26T15:15:37Z) - D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。
D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。
我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
論文 参考訳(メタデータ) (2020-11-27T19:06:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。