論文の概要: Forward Flow for Novel View Synthesis of Dynamic Scenes

• arxiv url: http://arxiv.org/abs/2309.17390v1
• Date: Fri, 29 Sep 2023 16:51:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-02 12:32:18.964439
• Title: Forward Flow for Novel View Synthesis of Dynamic Scenes
• Title（参考訳）: ダイナミックシーンの新しい視点合成のための前方流れ
• Authors: Xiang Guo, Jiadai Sun, Yuchao Dai, Guanying Chen, Xiaoqing Ye, Xiao Tan, Errui Ding, Yumeng Zhang, Jingdong Wang
• Abstract要約: 本稿では,前向きワープを用いた動的シーンの新たなビュー合成のためのニューラルラジアンス場(NeRF)アプローチを提案する。 本手法は、新しいビューレンダリングとモーションモデリングの両方において、既存の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 97.97012116793964
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a neural radiance field (NeRF) approach for novel view synthesis of dynamic scenes using forward warping. Existing methods often adopt a static NeRF to represent the canonical space, and render dynamic images at other time steps by mapping the sampled 3D points back to the canonical space with the learned backward flow field. However, this backward flow field is non-smooth and discontinuous, which is difficult to be fitted by commonly used smooth motion models. To address this problem, we propose to estimate the forward flow field and directly warp the canonical radiance field to other time steps. Such forward flow field is smooth and continuous within the object region, which benefits the motion model learning. To achieve this goal, we represent the canonical radiance field with voxel grids to enable efficient forward warping, and propose a differentiable warping process, including an average splatting operation and an inpaint network, to resolve the many-to-one and one-to-many mapping issues. Thorough experiments show that our method outperforms existing methods in both novel view rendering and motion modeling, demonstrating the effectiveness of our forward flow motion modeling. Project page: https://npucvr.github.io/ForwardFlowDNeRF
• Abstract（参考訳）: 本稿では,フォワードワーピングを用いた動的シーンの新しい視点合成のためのニューラル・ラミアンス・フィールド(nerf)アプローチを提案する。 既存の手法では、静的なNeRFを用いて標準空間を表現し、サンプル化された3Dポイントを学習した後方の流れ場と共に標準空間にマッピングすることで、他の時間ステップでダイナミックな画像をレンダリングする。 しかし、この逆流場は非スムースで不連続であり、一般的に使用される滑らかな運動モデルでは取り付けが困難である。 この問題に対処するために, 前方流れ場を推定し, 正準放射場を他の時間ステップに密着させる手法を提案する。 このような前方流れ場は対象領域内で滑らかで連続的であり、運動モデル学習の恩恵を受ける。 この目的を達成するために、ボクセル格子を用いた正準放射場を表現し、平均スプレイティング操作やインペントネットワークを含む微分可能なワーププロセスを提案し、多対一および一対多のマッピング問題を解決する。 徹底的な実験により,提案手法は,新しい映像レンダリングと動きモデリングの両方において,既存の手法よりも優れており,前方流れモデルの有効性が示された。 プロジェクトページ: https://npucvr.github.io/ForwardFlowDNeRF

関連論文リスト

• Investigation of moving objects through atmospheric turbulence from a non-stationary platform [0.5735035463793008]
  本研究では,移動カメラから撮像した画像列から移動物体に対応する光流場を抽出する。 提案手法はまず,光学的流れ場を計算し,カメラの動きによって誘導される流れ場を補償する運動モデルを作成する。 この作業で使用されるシーケンスとコードは、すべてオープンソースで、著者にコンタクトすることで利用可能である。
  論文  参考訳（メタデータ） (2024-10-29T00:54:28Z)
• Gear-NeRF: Free-Viewpoint Rendering and Tracking with Motion-aware Spatio-Temporal Sampling [70.34875558830241]
  本研究では,シーンをレンダリングする動的領域の階層化モデリングを可能にする意味的セマンティックギアに基づく,時間的(4D)埋め込みの学習方法を提案する。 同時に、ほぼ無償で、当社のトラッキングアプローチは、既存のNeRFベースのメソッドでまだ達成されていない機能である、自由視点(free-view of interest)を可能にします。
  論文  参考訳（メタデータ） (2024-06-06T03:37:39Z)
• Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories [28.701879490459675]
  ニューラルネットワークによってパラメータ化された暗黙の運動場を学習し、同一領域内の新規点の動きを予測することを目的とする。 我々は、SIRENが提供する固有正則化を活用し、入力層を変更して時間的に滑らかな運動場を生成する。 実験では, 未知点軌道の予測におけるモデルの性能評価と, 変形を伴う時間メッシュアライメントへの応用について検討した。
  論文  参考訳（メタデータ） (2024-06-05T21:02:10Z)
• SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
  現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。 この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。 そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-29T09:20:29Z)
• DyBluRF: Dynamic Neural Radiance Fields from Blurry Monocular Video [18.424138608823267]
  動きのぼかしに影響を受ける単眼ビデオから鋭い新しいビューを合成する動的放射場アプローチであるDyBluRFを提案する。 入力画像中の動きのぼかしを考慮し、シーン内のカメラ軌跡とオブジェクト離散コサイン変換(DCT)トラジェクトリを同時にキャプチャする。
  論文  参考訳（メタデータ） (2024-03-15T08:48:37Z)
• SceNeRFlow: Time-Consistent Reconstruction of General Dynamic Scenes [75.9110646062442]
  我々はSceNeRFlowを提案し、時間的一貫性のある方法で一般的な非剛体シーンを再構築する。 提案手法は,カメラパラメータを入力として,静止カメラからのマルチビューRGBビデオと背景画像を取得する。 実験により,小規模動作のみを扱う先行作業とは異なり,スタジオスケール動作の再構築が可能であることが示された。
  論文  参考訳（メタデータ） (2023-08-16T09:50:35Z)
• OD-NeRF: Efficient Training of On-the-Fly Dynamic Neural Radiance Fields [63.04781030984006]
  ダイナミック・ニューラル・レイディアンス・フィールド(ダイナミック・ニューラル・レイディアンス・フィールド)は、3次元ダイナミック・シーンにおける新しいビュー・シンセサイザーにおいて印象的な結果を示した。 本研究では,ダイナミックシーンのストリーミングが可能な動的NeRFを効率よく訓練・レンダリングするOD-NeRFを提案する。 本アルゴリズムは,6FPSトレーニングと合成動的シーンのレンダリングのインタラクティブな高速化を実現し,実世界の動的シーンの最先端と比較して,大幅なスピードアップを実現している。
  論文  参考訳（メタデータ） (2023-05-24T07:36:47Z)
• Neural Motion Fields: Encoding Grasp Trajectories as Implicit Value Functions [65.84090965167535]
  本稿では,ニューラルネットワークによってパラメータ化される暗黙的値関数として,オブジェクト点群と相対的タスク軌跡の両方を符号化する新しいオブジェクト表現であるNeural Motion Fieldsを提案する。 このオブジェクト中心表現は、SE(3)空間上の連続分布をモデル化し、サンプリングベースのMPCを利用して、この値関数を最適化することで、反応的に把握することができる。
  論文  参考訳（メタデータ） (2022-06-29T18:47:05Z)
• DeVRF: Fast Deformable Voxel Radiance Fields for Dynamic Scenes [27.37830742693236]
  本稿では,動的放射場を高速に学習するための新しい表現であるDeVRFを提案する。 実験により、DeVRFはオンパー高忠実度の結果で2桁のスピードアップを達成することが示された。
  論文  参考訳（メタデータ） (2022-05-31T12:13:54Z)
• EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
  本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。 本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。 提案手法は, 教師なし手法よりも優れ, 効率的である。
  論文  参考訳（メタデータ） (2022-01-06T14:35:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。