論文の概要: Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video

• arxiv url: http://arxiv.org/abs/2310.09647v2
• Date: Tue, 24 Oct 2023 11:03:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 23:05:32.713267
• Title: Point-DynRF: Point-based Dynamic Radiance Fields from a Monocular Video
• Title（参考訳）: ポイントDynRF:単眼ビデオからの点ベース動的放射場
• Authors: Byeongjun Park, Changick Kim
• Abstract要約: 本稿では,大域的幾何情報とボリュームレンダリング処理を,それぞれニューラルネットワークと動的放射場を用いて学習する点ベース動的放射場について紹介する。 具体的には、幾何学的プロキシから直接ニューラルポイント雲を再構成し、提案した損失を用いて放射場と幾何学的プロキシの両方を最適化する。 提案手法の有効性をNVIDIA Dynamic Scenesデータセットと因果的に捉えたモノクロビデオクリップを用いて検証した。
• 参考スコア（独自算出の注目度）: 19.0733297053322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dynamic radiance fields have emerged as a promising approach for generating novel views from a monocular video. However, previous methods enforce the geometric consistency to dynamic radiance fields only between adjacent input frames, making it difficult to represent the global scene geometry and degenerates at the viewpoint that is spatio-temporally distant from the input camera trajectory. To solve this problem, we introduce point-based dynamic radiance fields (\textbf{Point-DynRF}), a novel framework where the global geometric information and the volume rendering process are trained by neural point clouds and dynamic radiance fields, respectively. Specifically, we reconstruct neural point clouds directly from geometric proxies and optimize both radiance fields and the geometric proxies using our proposed losses, allowing them to complement each other. We validate the effectiveness of our method with experiments on the NVIDIA Dynamic Scenes Dataset and several causally captured monocular video clips.
• Abstract（参考訳）: 動的放射場は単眼ビデオから新しいビューを生成するための有望なアプローチとして現れてきた。 しかし, 従来の手法では, 隣接する入力フレーム間のみの動的放射場に対する幾何的整合性を強制し, 大域的なシーン形状を表現し, 入力カメラ軌道から時空間離れた視点で退化させることが困難であった。 この問題を解決するために、我々は、大域的幾何学情報とボリュームレンダリングプロセスがそれぞれニューラルネットワークと動的放射場によってトレーニングされる新しいフレームワークである点ベース動的放射場(\textbf{Point-DynRF})を導入する。 具体的には,幾何学的プロキシから直接ニューラルポイント雲を再構成し,提案する損失を用いて放射場と幾何学的プロキシの両方を最適化し,相互補完を可能にした。 提案手法の有効性をNVIDIA Dynamic Scenes Datasetと因果的に捉えたモノクロビデオクリップを用いて検証した。

関連論文リスト

• D-NPC: Dynamic Neural Point Clouds for Non-Rigid View Synthesis from Monocular Video [53.83936023443193]
  本稿では,スマートフォンのキャプチャなどのモノクロ映像から動的に新しいビューを合成する手法を導入することにより,この分野に貢献する。 我々のアプローチは、局所的な幾何学と外観を別個のハッシュエンコードされたニューラル特徴グリッドにエンコードする暗黙の時間条件のポイントクラウドである、$textitdynamic Neural point cloudとして表現されている。
  論文  参考訳（メタデータ） (2024-06-14T14:35:44Z)
• OmniLocalRF: Omnidirectional Local Radiance Fields from Dynamic Videos [14.965321452764355]
  我々はOmnidirectional Local Radiance Fields (OmniLocalRF)と呼ばれる新しいアプローチを導入し、静的のみのシーンビューをレンダリングする。 本手法は局所放射界の原理と全方位光の双方向最適化を組み合わせたものである。 実験により,OmniLocalRFは定性的,定量的に既存手法より優れていることを確認した。
  論文  参考訳（メタデータ） (2024-03-31T12:55:05Z)
• DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
  動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。 入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-15T08:48:37Z)
• NeVRF: Neural Video-based Radiance Fields for Long-duration Sequences [53.8501224122952]
  本稿では,新しいニューラルビデオベース放射場(NeVRF)の表現を提案する。 NeVRFは、画像ベースのレンダリングを備えたニューラルラディアンスフィールドをマージし、長期のダイナミックな内向きシーンにおけるフォトリアリスティックなノベルビュー合成をサポートする。 本実験は,NeVRFが長期化シーケンスレンダリング,シーケンシャルデータ再構成,コンパクトデータストレージの実現に有効であることを示す。
  論文  参考訳（メタデータ） (2023-12-10T11:14:30Z)
• Geo-NI: Geometry-aware Neural Interpolation for Light Field Rendering [57.775678643512435]
  光場レンダリングのためのGeo-NI(Geometry-aware Neural Interpolation)フレームワークを提案する。 NIとDIBRの優位性を組み合わせることで、提案したGeo-NIは、大きな差異でビューをレンダリングすることができる。
  論文  参考訳（メタデータ） (2022-06-20T12:25:34Z)
• PVSeRF: Joint Pixel-, Voxel- and Surface-Aligned Radiance Field for Single-Image Novel View Synthesis [52.546998369121354]
  シングルビューRGB画像からニューラル放射場を再構成する学習フレームワークPVSeRFを提案する。 本稿では,明示的な幾何学的推論を取り入れ,放射場予測のための画素アラインな特徴と組み合わせることを提案する。 このような幾何学的特徴の導入は、外観と幾何学の絡み合いを改善するのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-02-10T07:39:47Z)
• Neural Point Light Fields [80.98651520818785]
  本稿では,スパース点雲上に存在する光の場を暗黙的に表現するニューラルポイント光場について紹介する。 これらの点光場は、光線方向と局所点特徴近傍の関数として機能し、光場条件付きトレーニング画像を高密度の被写体とパララックスを介さずに補間することができる。
  論文  参考訳（メタデータ） (2021-12-02T18:20:10Z)
• GeoNeRF: Generalizing NeRF with Geometry Priors [2.578242050187029]
  ニューラルラジアンス場に基づく一般化可能なフォトリアリスティック・ノベルビュー手法GeoNeRFを提案する。 我々のアプローチは、幾何学的推論と合成という2つの主要な段階から構成される。 実験により、GeoNeRFは様々な合成および実際のデータセット上で、最先端の一般化可能なニューラルネットワークレンダリングモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-26T15:15:37Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。