論文の概要: TiV-NeRF: Tracking and Mapping via Time-Varying Representation with Dynamic Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2310.18917v2
• Date: Sat, 4 Nov 2023 01:51:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-07 19:47:13.735729
• Title: TiV-NeRF: Tracking and Mapping via Time-Varying Representation with Dynamic Neural Radiance Fields
• Title（参考訳）: TiV-NeRF:動的ニューラルネットワークを用いた時間変化表現による追跡とマッピング
• Authors: Chengyao Duan and Zhiliu Yang
• Abstract要約: 動的シーンの追跡と再構成を行うための時間変化表現を提案する。 本システムでは,追跡処理とマッピング処理の2つのプロセスを同時に維持する。 我々は,2つの公開合成データセットに対するアプローチを評価し,この手法が現在最先端の動的マッピング法よりも有効であることを検証した。
• 参考スコア（独自算出の注目度）: 0.14504054468850663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous attempts to integrate Neural Radiance Fields (NeRF) into Simultaneous Localization and Mapping (SLAM) framework either rely on the assumption of static scenes or treat dynamic objects as outliers. However, most of real-world scenarios is dynamic. In this paper, we propose a time-varying representation to track and reconstruct the dynamic scenes. Our system simultaneously maintains two processes, tracking process and mapping process. For tracking process, the entire input images are uniformly sampled and training of the RGB images are self-supervised. For mapping process, we leverage know masks to differentiate dynamic objects and static backgrounds, and we apply distinct sampling strategies for two types of areas. The parameters optimization for both processes are made up by two stages, the first stage associates time with 3D positions to convert the deformation field to the canonical field. And the second associates time with 3D positions in canonical field to obtain colors and Signed Distance Function (SDF). Besides, We propose a novel keyframe selection strategy based on the overlapping rate. We evaluate our approach on two publicly available synthetic datasets and validate that our method is more effective compared to current state-of-the-art dynamic mapping methods.
• Abstract（参考訳）: 従来のNeural Radiance Fields(NeRF)をSLAMフレームワークに統合するための試みは、静的シーンの仮定に依存するか、動的オブジェクトを外れ値として扱うかに依存する。 しかし、現実世界のシナリオのほとんどは動的です。 本稿では,動的シーンの追跡と再構成を行うための時間変化表現を提案する。 システムは追跡プロセスとマッピングプロセスという2つのプロセスを同時に維持する。 トラッキングプロセスでは、入力画像全体を一様にサンプリングし、RGB画像のトレーニングを自己管理する。 マッピングプロセスでは,動的オブジェクトと静的背景を区別するためにノウマスクを活用し,異なるサンプリング戦略を2種類の領域に適用した。 両過程のパラメータ最適化は2段階で構成され、第1段階は時間と3次元の位置を関連付けて変形場を正準場に変換する。 そして、第2の時間は標準場の3D位置と結びつき、色と符号付き距離関数(SDF)を得る。 また,重複率に基づく新しいキーフレーム選択戦略を提案する。 提案手法は,2つの公開合成データセットに対して評価し,現状の動的マッピング法よりも有効であることを示す。

関連論文リスト

• NVFi: Neural Velocity Fields for 3D Physics Learning from Dynamic Videos [8.559809421797784]
  本稿では,映像フレームからのみ3次元シーンの形状,外観,身体的速度を同時に学習することを提案する。 複数のデータセットに対して広範な実験を行い、全てのベースライン上での手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-11T14:07:31Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• 3D Multi-Object Tracking with Differentiable Pose Estimation [0.0]
  室内環境におけるRGB-Dシーケンスからの3次元多対象追跡と再構成のための新しい手法を提案する。 我々は、これらの対応を利用してグラフニューラルネットワークに通知し、すべてのオブジェクトの最適かつ時間的に一貫性のある7-DoFポーズトラジェクトリを解決する。 本手法は,既存の最先端手法に比べて,すべてのテストシーケンスに対して蓄積したMOTAスコアを24.8%向上させる。
  論文  参考訳（メタデータ） (2022-06-28T06:46:32Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• CDN-MEDAL: Two-stage Density and Difference Approximation Framework for Motion Analysis [3.337126420148156]
  本稿では,2つの畳み込みニューラルネットワークを用いた2段階変化検出手法を提案する。 筆者らの2段階フレームワークは, 約3.5Kのパラメータを含むが, 複雑な動きパターンに対する迅速な収束は維持されている。
  論文  参考訳（メタデータ） (2021-06-07T16:39:42Z)
• Deep Learning based Virtual Point Tracking for Real-Time Target-less Dynamic Displacement Measurement in Railway Applications [0.0]
  ディープラーニング技術とドメイン知識を組み込んだリアルタイムターゲットレス動的変位測定のための仮想ポイントトラッキングを提案します。 そこで本研究では, 運転中にレールの車輪の水平変位を計測した鉄道への適用例を示す。
  論文  参考訳（メタデータ） (2021-01-17T16:19:47Z)
• DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
  DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。 実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。 提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-09-30T18:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。