論文の概要: Forward Flow for Novel View Synthesis of Dynamic Scenes
- arxiv url: http://arxiv.org/abs/2309.17390v1
- Date: Fri, 29 Sep 2023 16:51:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 12:32:18.964439
- Title: Forward Flow for Novel View Synthesis of Dynamic Scenes
- Title(参考訳): ダイナミックシーンの新しい視点合成のための前方流れ
- Authors: Xiang Guo, Jiadai Sun, Yuchao Dai, Guanying Chen, Xiaoqing Ye, Xiao
Tan, Errui Ding, Yumeng Zhang, Jingdong Wang
- Abstract要約: 本稿では,前向きワープを用いた動的シーンの新たなビュー合成のためのニューラルラジアンス場(NeRF)アプローチを提案する。
本手法は、新しいビューレンダリングとモーションモデリングの両方において、既存の手法よりも優れている。
- 参考スコア(独自算出の注目度): 97.97012116793964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper proposes a neural radiance field (NeRF) approach for novel view
synthesis of dynamic scenes using forward warping. Existing methods often adopt
a static NeRF to represent the canonical space, and render dynamic images at
other time steps by mapping the sampled 3D points back to the canonical space
with the learned backward flow field. However, this backward flow field is
non-smooth and discontinuous, which is difficult to be fitted by commonly used
smooth motion models. To address this problem, we propose to estimate the
forward flow field and directly warp the canonical radiance field to other time
steps. Such forward flow field is smooth and continuous within the object
region, which benefits the motion model learning. To achieve this goal, we
represent the canonical radiance field with voxel grids to enable efficient
forward warping, and propose a differentiable warping process, including an
average splatting operation and an inpaint network, to resolve the many-to-one
and one-to-many mapping issues. Thorough experiments show that our method
outperforms existing methods in both novel view rendering and motion modeling,
demonstrating the effectiveness of our forward flow motion modeling. Project
page: https://npucvr.github.io/ForwardFlowDNeRF
- Abstract(参考訳): 本稿では,フォワードワーピングを用いた動的シーンの新しい視点合成のためのニューラル・ラミアンス・フィールド(nerf)アプローチを提案する。
既存の手法では、静的なNeRFを用いて標準空間を表現し、サンプル化された3Dポイントを学習した後方の流れ場と共に標準空間にマッピングすることで、他の時間ステップでダイナミックな画像をレンダリングする。
しかし、この逆流場は非スムースで不連続であり、一般的に使用される滑らかな運動モデルでは取り付けが困難である。
この問題に対処するために, 前方流れ場を推定し, 正準放射場を他の時間ステップに密着させる手法を提案する。
このような前方流れ場は対象領域内で滑らかで連続的であり、運動モデル学習の恩恵を受ける。
この目的を達成するために、ボクセル格子を用いた正準放射場を表現し、平均スプレイティング操作やインペントネットワークを含む微分可能なワーププロセスを提案し、多対一および一対多のマッピング問題を解決する。
徹底的な実験により,提案手法は,新しい映像レンダリングと動きモデリングの両方において,既存の手法よりも優れており,前方流れモデルの有効性が示された。
プロジェクトページ: https://npucvr.github.io/ForwardFlowDNeRF
関連論文リスト
- EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。
提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。
実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
論文 参考訳(メタデータ) (2023-08-16T09:50:35Z) - OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。
本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。
本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
論文 参考訳(メタデータ) (2023-05-24T07:36:47Z) - BLiRF: Bandlimited Radiance Fields for Dynamic Scene Modeling [43.246536947828844]
本稿では,帯域制限された高次元信号の合成としてシーンを定式化し,時間と空間を分解するフレームワークを提案する。
我々は、照明、テクスチャ、長距離ダイナミクスの変化を含む複雑な動的シーンにまたがる魅力的な結果を実証する。
論文 参考訳(メタデータ) (2023-02-27T06:40:32Z) - Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value
Functions [65.84090965167535]
本稿では,ニューラルネットワークによってパラメータ化される暗黙的値関数として,オブジェクト点群と相対的タスク軌跡の両方を符号化する新しいオブジェクト表現であるNeural Motion Fieldsを提案する。
このオブジェクト中心表現は、SE(3)空間上の連続分布をモデル化し、サンプリングベースのMPCを利用して、この値関数を最適化することで、反応的に把握することができる。
論文 参考訳(メタデータ) (2022-06-29T18:47:05Z) - Neural Deformable Voxel Grid for Fast Optimization of Dynamic View
Synthesis [63.25919018001152]
動的シーンを扱うための高速な変形可能な放射場法を提案する。
本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
論文 参考訳(メタデータ) (2022-06-15T17:49:08Z) - DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。
実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
論文 参考訳(メタデータ) (2022-05-31T12:13:54Z) - EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。
本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。
提案手法は, 教師なし手法よりも優れ, 効率的である。
論文 参考訳(メタデータ) (2022-01-06T14:35:45Z) - HyperNeRF: A Higher-Dimensional Representation for Topologically Varying
Neural Radiance Fields [45.8031461350167]
非剛体シーンを再構成するための一般的なアプローチは、各入力画像の座標から標準テンプレート座標空間への学習された変形場マッピングを使用することである。
我々は、NeRFを高次元空間に上げ、この「ハイパースペース」を通して個々の入力画像に対応する5次元放射場をスライスとして表現することで、この制限に対処する。
提案手法は,HyperNeRFをダブした手法で,両タスクの既存の手法よりも有意なマージンで優れていることを示す。
論文 参考訳(メタデータ) (2021-06-24T17:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。