論文の概要: TivNe-SLAM: Dynamic Tracking and Mapping via Time-Varying Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2310.18917v3
• Date: Sat, 9 Mar 2024 11:04:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 15:42:15.941718
• Title: TivNe-SLAM: Dynamic Tracking and Mapping via Time-Varying Neural Radiance Fields
• Title（参考訳）: TivNe-SLAM:時変ニューラルラジアンス場による動的追跡とマッピング
• Authors: Chengyao Duan and Zhiliu Yang
• Abstract要約: 動的シーンの追跡と再構成を行うための時間変化表現を提案する。 2つの合成データセットと実世界のデータセットに対するアプローチを評価した。
• 参考スコア（独自算出の注目度）: 0.14504054468850663
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous attempts to integrate Neural Radiance Fields (NeRF) into Simultaneous Localization and Mapping (SLAM) framework either rely on the assumption of static scenes or treat dynamic objects as outliers. However, most of real-world scenarios is dynamic. In this paper, we propose a time-varying representation to track and reconstruct the dynamic scenes. Firstly, two processes, tracking process and mapping process, are simultaneously maintained in our system. For tracking process, \red{the entire input images are} uniformly sampled, then progressively trained in a self-supervised paradigm. For mapping process, we leverage motion masks to differentiate dynamic objects and static backgrounds, \red{and we apply distinct sampling strategies for these two types of areas.} Secondly, the parameters optimization for both processes are made up by two stages, the first stage associates time with 3D positions to convert the deformation field to the canonical field. And the second stage associates time with 3D positions in canonical field to obtain colors and Signed Distance Function (SDF). Lastly, we propose a novel key-frame selection strategy based on the overlapping rate. We evaluate our approach on two synthetic datasets and a real-world dataset. And the experiment results validate that our method is more effective when compared to existing state-of-the-art dynamic mapping methods.
• Abstract（参考訳）: 従来のNeural Radiance Fields(NeRF)をSLAMフレームワークに統合するための試みは、静的シーンの仮定に依存するか、動的オブジェクトを外れ値として扱うかに依存する。 しかし、現実世界のシナリオのほとんどは動的です。 本稿では,動的シーンの追跡と再構成を行うための時間変化表現を提案する。 まず、トラッキングプロセスとマッピングプロセスという2つのプロセスがシステム内で同時に維持されます。 トラッキングプロセスでは、red{the entire input image is} uniformly sampleed, then Progressly training in a self-supervised paradigm。 マッピングプロセスでは,動的物体と静的背景を区別するためにモーションマスクを活用し,これらの2種類の領域に対して異なるサンプリング戦略を適用する。 第二段階は、変形場を標準場に変換するために、時間と3D位置を関連付ける。 そして、第2段階は、標準場の3D位置と時間を関連付け、色と符号付き距離関数(SDF)を得る。 最後に,重複率に基づく新しいキーフレーム選択戦略を提案する。 2つの合成データセットと実世界のデータセットに対するアプローチを評価する。 また,従来の動的マッピング手法と比較して,本手法の方が有効であることを示す。

関連論文リスト

• NVFi: Neural Velocity Fields for 3D Physics Learning from Dynamic Videos [8.559809421797784]
  本稿では,映像フレームからのみ3次元シーンの形状,外観,身体的速度を同時に学習することを提案する。 複数のデータセットに対して広範な実験を行い、全てのベースライン上での手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-11T14:07:31Z)
• DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
  DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。 本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。 実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
  論文  参考訳（メタデータ） (2023-11-30T21:34:44Z)
• EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via Self-Supervision [85.17951804790515]
  EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。 シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。 本手法はセンサシミュレーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-11-03T17:59:55Z)
• DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
  動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。 DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。 我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
  論文  参考訳（メタデータ） (2023-09-16T08:46:59Z)
• 3D Multi-Object Tracking with Differentiable Pose Estimation [0.0]
  室内環境におけるRGB-Dシーケンスからの3次元多対象追跡と再構成のための新しい手法を提案する。 我々は、これらの対応を利用してグラフニューラルネットワークに通知し、すべてのオブジェクトの最適かつ時間的に一貫性のある7-DoFポーズトラジェクトリを解決する。 本手法は,既存の最先端手法に比べて,すべてのテストシーケンスに対して蓄積したMOTAスコアを24.8%向上させる。
  論文  参考訳（メタデータ） (2022-06-28T06:46:32Z)
• Neural Deformable Voxel Grid for Fast Optimization of Dynamic View Synthesis [63.25919018001152]
  動的シーンを扱うための高速な変形可能な放射場法を提案する。 本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2022-06-15T17:49:08Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• CDN-MEDAL: Two-stage Density and Difference Approximation Framework for Motion Analysis [3.337126420148156]
  本稿では,2つの畳み込みニューラルネットワークを用いた2段階変化検出手法を提案する。 筆者らの2段階フレームワークは, 約3.5Kのパラメータを含むが, 複雑な動きパターンに対する迅速な収束は維持されている。
  論文  参考訳（メタデータ） (2021-06-07T16:39:42Z)
• Deep Learning based Virtual Point Tracking for Real-Time Target-less Dynamic Displacement Measurement in Railway Applications [0.0]
  ディープラーニング技術とドメイン知識を組み込んだリアルタイムターゲットレス動的変位測定のための仮想ポイントトラッキングを提案します。 そこで本研究では, 運転中にレールの車輪の水平変位を計測した鉄道への適用例を示す。
  論文  参考訳（メタデータ） (2021-01-17T16:19:47Z)
• DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
  DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。 実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。 提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-09-30T18:36:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。