論文の概要: DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2309.08927v2
• Date: Mon, 18 Mar 2024 01:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-20 04:02:28.559886
• Title: DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields
• Title（参考訳）: DynaMoN:動的ニューラルラジアンス場のための高速かつロバストなカメラローカライゼーション
• Authors: Nicolas Schischka, Hannah Schieber, Mert Asim Karaoglu, Melih Görgülü, Florian Grötzner, Alexander Ladikos, Daniel Roth, Nassir Navab, Benjamin Busam,
• Abstract要約: 我々はDynaMoNを提案する。DynaMoNは、カメラのポーズ推定と、高速で正確なノベルビュー合成のためのスタティックス中心のレイサンプリングのための動的コンテンツを扱う。 我々の新しい反復学習方式は、NeRFのトレーニングとポーズパラメータの更新を切り替えて、改良された再構成と軌道推定の品質を向上する。
• 参考スコア（独自算出の注目度）: 71.94156412354054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The accurate reconstruction of dynamic scenes with neural radiance fields is significantly dependent on the estimation of camera poses. Widely used structure-from-motion pipelines encounter difficulties in accurately tracking the camera trajectory when faced with separate dynamics of the scene content and the camera movement. To address this challenge, we propose DynaMoN. DynaMoN utilizes semantic segmentation and generic motion masks to handle dynamic content for initial camera pose estimation and statics-focused ray sampling for fast and accurate novel-view synthesis. Our novel iterative learning scheme switches between training the NeRF and updating the pose parameters for an improved reconstruction and trajectory estimation quality. The proposed pipeline shows significant acceleration of the training process. We extensively evaluate our approach on two real-world dynamic datasets, the TUM RGB-D and the BONN RGB-D Dynamic dataset. DynaMoN improves over the state-of-the-art both in terms of reconstruction quality and trajectory accuracy. We plan to make our code public to enhance research in this area.
• Abstract（参考訳）: ニューラルレイディアンス場を用いた動的シーンの正確な再構成は、カメラポーズの推定に大きく依存する。 広範に使用されている移動パイプラインは、シーンの内容とカメラの動きの異なるダイナミクスに直面した場合に、カメラ軌跡を正確に追跡することが困難である。 この課題に対処するため,我々はDynaMoNを提案する。 DynaMoNは、セマンティックセグメンテーションとジェネリックモーションマスクを使用して、動的コンテンツを扱う。 我々の新しい反復学習方式は、NeRFのトレーニングとポーズパラメータの更新を切り替えて、改良された再構成と軌道推定の品質を向上する。 提案したパイプラインは,トレーニングプロセスの大幅な加速を示す。 我々は,TUM RGB-DとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広範に評価した。 DynaMoNは、再構築品質と軌道精度の両面で最先端の技術を向上する。 この分野での研究を強化するために、コードを公開する予定です。

関連論文リスト

• DATAP-SfM: Dynamic-Aware Tracking Any Point for Robust Structure from Motion in the Wild [85.03973683867797]
  本稿では,スムーズなカメラ軌跡を推定し,野生のカジュアルビデオのための高密度点雲を得るための,簡潔でエレガントでロバストなパイプラインを提案する。 提案手法は,複雑な動的課題シーンにおいても,カメラポーズ推定による最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-11-20T13:01:16Z)
• SMURF: Continuous Dynamics for Motion-Deblurring Radiance Fields [14.681688453270523]
  本稿では,ニューラル常微分方程式(Neural-ODE)を用いて連続カメラの動きをモデル化する新しい手法である,逐次的動き理解放射場(SMURF)を提案する。 我々のモデルは、ベンチマークデータセットに対して厳密に評価され、定量的かつ定性的に最先端のパフォーマンスを実証する。
  論文  参考訳（メタデータ） (2024-03-12T11:32:57Z)
• NID-SLAM: Neural Implicit Representation-based RGB-D SLAM in dynamic environments [9.706447888754614]
  動的環境におけるニューラルSLAMの性能を大幅に向上させるNID-SLAMを提案する。 本稿では, セマンティックマスクにおける不正確な領域, 特に辺縁領域における不正確な領域を強化するための新しいアプローチを提案する。 また,ダイナミックシーンの選択戦略を導入し,大規模オブジェクトに対するカメラトラッキングの堅牢性を高める。
  論文  参考訳（メタデータ） (2024-01-02T12:35:03Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Robust Dynamic Radiance Fields [79.43526586134163]
  動的放射場再構成法は動的シーンの時間変化構造と外観をモデル化することを目的としている。 しかし、既存の手法では、正確なカメラポーズをStructure from Motion (SfM)アルゴリズムによって確実に推定できると仮定している。 カメラパラメータとともに静的および動的放射場を共同で推定することにより、このロバスト性問題に対処する。
  論文  参考訳（メタデータ） (2023-01-05T18:59:51Z)
• Neural Surface Reconstruction of Dynamic Scenes with Monocular RGB-D Camera [26.410460029742456]
  モノクラーRGB-Dカメラから動的シーンの高忠実度形状と動きを復元するテンプレートレス手法を提案する。 公開データセットと収集データセットの実験により、NDRは既存の単分子動的再構成法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-30T13:09:39Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow [17.040818114071833]
  ダイナミック/静的セグメンテーションとカメラのエゴモーション推定を同時に実現する新しいRGB-D SLAMソリューションを提案する。 我々の新しい特徴は、RGB-D点雲のダイナミックセマンティクスを強調するために光学フロー残基を使うことである。
  論文  参考訳（メタデータ） (2020-03-11T04:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。