論文の概要: DeFlowSLAM: Self-Supervised Scene Motion Decomposition for Dynamic Dense
SLAM
- arxiv url: http://arxiv.org/abs/2207.08794v1
- Date: Mon, 18 Jul 2022 17:47:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 18:43:05.450116
- Title: DeFlowSLAM: Self-Supervised Scene Motion Decomposition for Dynamic Dense
SLAM
- Title(参考訳): DeFlowSLAM:ダイナミックデンスSLAMのための自己監督型シーンモーション分解
- Authors: Weicai Ye, Xingyuan Yu, Xinyue Lan, Yuhang Ming, Jinyu Li, Hujun Bao,
Zhaopeng Cui and Guofeng Zhang
- Abstract要約: DeFlowSLAMと呼ばれるダイナミックSLAMは、画像中の静的画素と動的ピクセルの両方を利用して、カメラのポーズを解決する。
DeFlowSLAMは静的シーンと動的シーンの両方を一般化し、静的シーンとよりダイナミックなシーンでは最先端のDROID-SLAMに匹敵するパフォーマンスを示す。
- 参考スコア(独自算出の注目度): 41.76744945068124
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a novel dual-flow representation of scene motion that decomposes
the optical flow into a static flow field caused by the camera motion and
another dynamic flow field caused by the objects' movements in the scene. Based
on this representation, we present a dynamic SLAM, dubbed DeFlowSLAM, that
exploits both static and dynamic pixels in the images to solve the camera
poses, rather than simply using static background pixels as other dynamic SLAM
systems do. We propose a dynamic update module to train our DeFlowSLAM in a
self-supervised manner, where a dense bundle adjustment layer takes in
estimated static flow fields and the weights controlled by the dynamic mask and
outputs the residual of the optimized static flow fields, camera poses, and
inverse depths. The static and dynamic flow fields are estimated by warping the
current image to the neighboring images, and the optical flow can be obtained
by summing the two fields. Extensive experiments demonstrate that DeFlowSLAM
generalizes well to both static and dynamic scenes as it exhibits comparable
performance to the state-of-the-art DROID-SLAM in static and less dynamic
scenes while significantly outperforming DROID-SLAM in highly dynamic
environments. Code and data are available on the project webpage: \urlstyle{tt}
\textcolor{url_color}{\url{https://zju3dv.github.io/deflowslam/}}.
- Abstract(参考訳): そこで本稿では,映像中の物体の動きによって生じる動的流れ場とカメラの動きによって生じる静的流れ場に光の流れを分解する,シーンの動きの2重フロー表現を提案する。
この表現に基づいて,静的背景画素を他の動的SLAMシステムと同じように使用するのではなく,画像中の静的画素と動的画素の両方を利用してカメラポーズを解決する動的SLAMを提案する。
本稿では,DeFlowSLAMを自己指導的にトレーニングするための動的更新モジュールを提案する。これは,高密度バンドル調整層が推定された静的流れ場と動的マスクによって制御される重みを取り込み,最適化された静的流れ場,カメラポーズ,逆深さの残余を出力するものである。
現在の画像を隣接する画像にワープすることで静的および動的流れ場を推定し、2つのフィールドをまとめることで光学的流れを得ることができる。
大規模な実験により、DeFlowSLAMは静的シーンと動的シーンの両方を一般化し、静的シーンでは最先端のDROID-SLAMに匹敵する性能を示しながら、動的環境ではDROID-SLAMを大きく上回る性能を示した。
コードとデータはプロジェクトwebページにある。 \urlstyle{tt} \textcolor{url_color}{\url{https://zju3dv.github.io/deflowslam/}}。
関連論文リスト
- NGD-SLAM: Towards Real-Time SLAM for Dynamic Environments without GPU [4.970590187498935]
本稿では,マスク予測機構を導入して,CPU上でのリアルタイム性能を実現する動的環境のための新しい視覚SLAMシステムを提案する。
さらに、デュアルステージの光フロー追跡手法を導入し、光フローとORBのハイブリッドな使用法を採用した。
最先端の手法と比較して、ハードウェアアクセラレーションなしで1台のラップトップCPU上で56fpsのトラッキングフレーム速度を実現しつつ、動的環境における高いローカライズ精度を維持する。
論文 参考訳(メタデータ) (2024-05-12T23:00:53Z) - EmerNeRF: Emergent Spatial-Temporal Scene Decomposition via
Self-Supervision [85.17951804790515]
EmerNeRFは動的駆動シーンの時空間表現を学習するためのシンプルだが強力なアプローチである。
シーンの幾何学、外観、動き、セマンティクスを自己ブートストラップで同時にキャプチャする。
本手法はセンサシミュレーションにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-03T17:59:55Z) - Forward Flow for Novel View Synthesis of Dynamic Scenes [97.97012116793964]
本稿では,前向きワープを用いた動的シーンの新たなビュー合成のためのニューラルラジアンス場(NeRF)アプローチを提案する。
本手法は、新しいビューレンダリングとモーションモデリングの両方において、既存の手法よりも優れている。
論文 参考訳(メタデータ) (2023-09-29T16:51:06Z) - DynaMoN: Motion-Aware Fast and Robust Camera Localization for Dynamic Neural Radiance Fields [71.94156412354054]
我々はDynaMoNを提案する。DynaMoNは、カメラのポーズ推定と、高速で正確なノベルビュー合成のためのスタティックス中心のレイサンプリングのための動的コンテンツを扱う。
我々の新しい反復学習方式は、NeRFのトレーニングとポーズパラメータの更新を切り替えて、改良された再構成と軌道推定の品質を向上する。
論文 参考訳(メタデータ) (2023-09-16T08:46:59Z) - Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。
既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。
本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T15:03:23Z) - MOTSLAM: MOT-assisted monocular dynamic SLAM using single-view depth
estimation [5.33931801679129]
MOTSLAMは動的ビジュアルSLAMシステムであり、動的オブジェクトのポーズとバウンディングボックスの両方を追跡する単分子構成を持つ。
KITTIデータセットを用いた実験により,カメラのエゴモーションとモノラルな動的SLAMでの物体追跡の両方において,我々のシステムが最高の性能を示した。
論文 参考訳(メタデータ) (2022-10-05T06:07:10Z) - Dynamic Dense RGB-D SLAM using Learning-based Visual Odometry [0.8029049649310211]
本稿では,学習に基づくビジュアルオドメトリーであるTartanVOに基づく高密度な動的RGB-D SLAMパイプラインを提案する。
我々のパイプラインは、光学フロー出力を利用して動的/静的セグメンテーションを解決し、静的点のみをマップに融合する。
論文 参考訳(メタデータ) (2022-05-12T07:11:41Z) - DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。
実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。
提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-09-30T18:36:28Z) - FlowFusion: Dynamic Dense RGB-D SLAM Based on Optical Flow [17.040818114071833]
ダイナミック/静的セグメンテーションとカメラのエゴモーション推定を同時に実現する新しいRGB-D SLAMソリューションを提案する。
我々の新しい特徴は、RGB-D点雲のダイナミックセマンティクスを強調するために光学フロー残基を使うことである。
論文 参考訳(メタデータ) (2020-03-11T04:00:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。