論文の概要: TivNe-SLAM: Dynamic Mapping and Tracking via Time-Varying Neural Radiance Fields
- arxiv url: http://arxiv.org/abs/2310.18917v6
- Date: Tue, 17 Sep 2024 13:35:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-18 22:50:44.585410
- Title: TivNe-SLAM: Dynamic Mapping and Tracking via Time-Varying Neural Radiance Fields
- Title（参考訳）: TivNe-SLAM:時変ニューラルラジアンス場による動的マッピングと追跡
- Authors: Chengyao Duan, Zhiliu Yang,
- Abstract要約: 本稿では,動的シーンの追跡と再構成を行うための時間変化表現を提案する。
トラッキングプロセスとマッピングプロセスという2つのプロセスは、当社のフレームワークで同時に管理されます。
従来のNeRFベースの動的SLAMシステムと比較すると,提案手法はトラッキングとマッピングの両面で競合する結果が得られることが検証された。
- 参考スコア（独自算出の注目度）: 0.1227734309612871
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Previous attempts to integrate Neural Radiance Fields (NeRF) into the Simultaneous Localization and Mapping (SLAM) framework either rely on the assumption of static scenes or require the ground truth camera poses, which impedes their application in real-world scenarios. This paper proposes a time-varying representation to track and reconstruct the dynamic scenes. Firstly, two processes, a tracking process and a mapping process, are maintained simultaneously in our framework. In the tracking process, all input images are uniformly sampled and then progressively trained in a self-supervised paradigm. In the mapping process, we leverage motion masks to distinguish dynamic objects from the static background, and sample more pixels from dynamic areas. Secondly, the parameter optimization for both processes is comprised of two stages: the first stage associates time with 3D positions to convert the deformation field to the canonical field. The second stage associates time with the embeddings of the canonical field to obtain colors and a Signed Distance Function (SDF). Lastly, we propose a novel keyframe selection strategy based on the overlapping rate. Our approach is evaluated on two synthetic datasets and one real-world dataset, and the experiments validate that our method achieves competitive results in both tracking and mapping when compared to existing state-of-the-art NeRF-based dynamic SLAM systems.
- Abstract（参考訳）: 従来のNeural Radiance Fields(NeRF)をSLAMフレームワークに統合する試みは、静的シーンの仮定に依存するか、地上の真理カメラのポーズを必要とする。
本稿では,動的シーンの追跡と再構成を行うための時間変化表現を提案する。
まず、トラッキングプロセスとマッピングプロセスという2つのプロセスが、我々のフレームワークで同時に維持されます。
トラッキングプロセスでは、全ての入力画像が一様にサンプリングされ、その後、自己監督パラダイムで漸進的に訓練される。
マッピングでは,動体マスクを利用して静的な背景から動的物体を識別し,動的領域からより多くのピクセルをサンプリングする。
第二に、両プロセスのパラメータ最適化は、第1段階が時間と3D位置を関連付けて変形場を標準場に変換する2段階からなる。
第2のステージは、標準フィールドの埋め込みと時間を関連付け、色と符号付き距離関数(SDF)を得る。
最後に、重なり合う速度に基づく新しいキーフレーム選択戦略を提案する。
提案手法は,2つの合成データセットと1つの実世界のデータセットを用いて評価し,既存のNeRFベースの動的SLAMシステムと比較して,トラッキングとマッピングの両面で競合する結果が得られることを示した。
関連論文リスト
- NVFi: Neural Velocity Fields for 3D Physics Learning from Dynamic Videos [8.559809421797784]
本稿では,映像フレームからのみ3次元シーンの形状,外観,身体的速度を同時に学習することを提案する。
複数のデータセットに対して広範な実験を行い、全てのベースライン上での手法の優れた性能を示す。
論文 参考訳（メタデータ） (2023-12-11T14:07:31Z) - DNS SLAM: Dense Neural Semantic-Informed SLAM [92.39687553022605]
DNS SLAMは、ハイブリッド表現を備えた新しいRGB-DセマンティックSLAMアプローチである。
本手法は画像に基づく特徴抽出と多視点幾何制約を統合し,外観の細部を改良する。
実験により, 合成データと実世界のデータ追跡の両面において, 最先端の性能が得られた。
論文 参考訳（メタデータ） (2023-11-30T21:34:44Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2023-11-03T17:59:55Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
動的ニューラルラジアンス場(DynaMoN)の高速かつロバストなカメラ位置推定法を提案する。
DynaMoNは、初期のカメラポーズ推定と高速で正確なノベルビュー合成のための静的集光線サンプリングのために動的コンテンツを処理している。
我々は,TUM RGB-DデータセットとBONN RGB-D Dynamicデータセットの2つの実世界の動的データセットに対するアプローチを広く評価した。
論文 参考訳（メタデータ） (2023-09-16T08:46:59Z) - 3D Multi-Object Tracking with Differentiable Pose Estimation [0.0]
室内環境におけるRGB-Dシーケンスからの3次元多対象追跡と再構成のための新しい手法を提案する。
我々は、これらの対応を利用してグラフニューラルネットワークに通知し、すべてのオブジェクトの最適かつ時間的に一貫性のある7-DoFポーズトラジェクトリを解決する。
本手法は,既存の最先端手法に比べて,すべてのテストシーケンスに対して蓄積したMOTAスコアを24.8%向上させる。
論文 参考訳（メタデータ） (2022-06-28T06:46:32Z) - Neural Deformable Voxel Grid for Fast Optimization of Dynamic View
Synthesis [63.25919018001152]
動的シーンを扱うための高速な変形可能な放射場法を提案する。
本手法は訓練に20分しかかからないD-NeRFに匹敵する性能を実現する。
論文 参考訳（メタデータ） (2022-06-15T17:49:08Z) - TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。
最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
論文 参考訳（メタデータ） (2021-06-14T10:33:47Z) - CDN-MEDAL: Two-stage Density and Difference Approximation Framework for
Motion Analysis [3.337126420148156]
本稿では,2つの畳み込みニューラルネットワークを用いた2段階変化検出手法を提案する。
筆者らの2段階フレームワークは, 約3.5Kのパラメータを含むが, 複雑な動きパターンに対する迅速な収束は維持されている。
論文 参考訳（メタデータ） (2021-06-07T16:39:42Z) - Deep Learning based Virtual Point Tracking for Real-Time Target-less
Dynamic Displacement Measurement in Railway Applications [0.0]
ディープラーニング技術とドメイン知識を組み込んだリアルタイムターゲットレス動的変位測定のための仮想ポイントトラッキングを提案します。
そこで本研究では, 運転中にレールの車輪の水平変位を計測した鉄道への適用例を示す。
論文 参考訳（メタデータ） (2021-01-17T16:19:47Z) - DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。
実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。
提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2020-09-30T18:36:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。