論文の概要: DeFlowSLAM: Self-Supervised Scene Motion Decomposition for Dynamic Dense
SLAM
- arxiv url: http://arxiv.org/abs/2207.08794v1
- Date: Mon, 18 Jul 2022 17:47:39 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-19 18:43:05.450116
- Title: DeFlowSLAM: Self-Supervised Scene Motion Decomposition for Dynamic Dense
SLAM
- Title(参考訳): DeFlowSLAM:ダイナミックデンスSLAMのための自己監督型シーンモーション分解
- Authors: Weicai Ye, Xingyuan Yu, Xinyue Lan, Yuhang Ming, Jinyu Li, Hujun Bao,
Zhaopeng Cui and Guofeng Zhang
- Abstract要約: DeFlowSLAMと呼ばれるダイナミックSLAMは、画像中の静的画素と動的ピクセルの両方を利用して、カメラのポーズを解決する。
DeFlowSLAMは静的シーンと動的シーンの両方を一般化し、静的シーンとよりダイナミックなシーンでは最先端のDROID-SLAMに匹敵するパフォーマンスを示す。
- 参考スコア(独自算出の注目度): 41.76744945068124
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a novel dual-flow representation of scene motion that decomposes
the optical flow into a static flow field caused by the camera motion and
another dynamic flow field caused by the objects' movements in the scene. Based
on this representation, we present a dynamic SLAM, dubbed DeFlowSLAM, that
exploits both static and dynamic pixels in the images to solve the camera
poses, rather than simply using static background pixels as other dynamic SLAM
systems do. We propose a dynamic update module to train our DeFlowSLAM in a
self-supervised manner, where a dense bundle adjustment layer takes in
estimated static flow fields and the weights controlled by the dynamic mask and
outputs the residual of the optimized static flow fields, camera poses, and
inverse depths. The static and dynamic flow fields are estimated by warping the
current image to the neighboring images, and the optical flow can be obtained
by summing the two fields. Extensive experiments demonstrate that DeFlowSLAM
generalizes well to both static and dynamic scenes as it exhibits comparable
performance to the state-of-the-art DROID-SLAM in static and less dynamic
scenes while significantly outperforming DROID-SLAM in highly dynamic
environments. Code and data are available on the project webpage: \urlstyle{tt}
\textcolor{url_color}{\url{https://zju3dv.github.io/deflowslam/}}.
- Abstract(参考訳): そこで本稿では,映像中の物体の動きによって生じる動的流れ場とカメラの動きによって生じる静的流れ場に光の流れを分解する,シーンの動きの2重フロー表現を提案する。
この表現に基づいて,静的背景画素を他の動的SLAMシステムと同じように使用するのではなく,画像中の静的画素と動的画素の両方を利用してカメラポーズを解決する動的SLAMを提案する。
本稿では,DeFlowSLAMを自己指導的にトレーニングするための動的更新モジュールを提案する。これは,高密度バンドル調整層が推定された静的流れ場と動的マスクによって制御される重みを取り込み,最適化された静的流れ場,カメラポーズ,逆深さの残余を出力するものである。
現在の画像を隣接する画像にワープすることで静的および動的流れ場を推定し、2つのフィールドをまとめることで光学的流れを得ることができる。
大規模な実験により、DeFlowSLAMは静的シーンと動的シーンの両方を一般化し、静的シーンでは最先端のDROID-SLAMに匹敵する性能を示しながら、動的環境ではDROID-SLAMを大きく上回る性能を示した。
コードとデータはプロジェクトwebページにある。 \urlstyle{tt} \textcolor{url_color}{\url{https://zju3dv.github.io/deflowslam/}}。
関連論文リスト
- Let Occ Flow: Self-Supervised 3D Occupancy Flow Prediction [14.866463843514156]
Occ Flowは、カメラ入力のみを使用して、関節の3D占有率と占有率の予測を行う最初の自己教師型作業である。
我々のアプローチは、動的オブジェクトの依存関係をキャプチャするために、新しい注意に基づく時間融合モジュールを組み込んでいる。
本手法は3次元容積流れ場に微分可能レンダリングを拡張する。
論文 参考訳(メタデータ) (2024-07-10T12:20:11Z) - SeFlow: A Self-Supervised Scene Flow Method in Autonomous Driving [18.88208422580103]
連続したLiDARスキャンで各点における3次元運動を予測する。
現在の最先端の手法は、シーンフローネットワークをトレーニングするために注釈付きデータを必要とする。
本研究では,効率的な動的分類を学習に基づくシーンフローパイプラインに統合するSeFlowを提案する。
論文 参考訳(メタデータ) (2024-07-01T18:22:54Z) - NGD-SLAM: Towards Real-Time Dynamic SLAM without GPU [4.959552873584984]
本稿では,マスク予測機構を組み込んだオープンソースのリアルタイム動的SLAMシステムを提案する。
本システムは,ラップトップCPU上でのトラッキングフレームレート56FPSを実現しつつ,動的環境における高いローカライズ精度を維持している。
論文 参考訳(メタデータ) (2024-05-12T23:00:53Z) - DDN-SLAM: Real-time Dense Dynamic Neural Implicit SLAM [5.267859554944985]
DDN-SLAMは,意味的特徴を統合した最初のリアルタイム高密度ニューラルネットワーク暗黙的SLAMシステムである。
既存の暗黙的SLAMシステムと比較して、動的データセットの追跡結果は平均軌道誤差(ATE)の精度が平均90%向上していることを示している。
論文 参考訳(メタデータ) (2024-01-03T05:42:17Z) - Hierarchical Neural Dynamic Policies [50.969565411919376]
我々は,高次元画像入力から学習しながら,実世界の動的タスクの非表示構成への一般化の課題に取り組む。
階層型ニューラル・ダイナミック・ポリシー(H-NDP)と呼ばれる階層型ディープ・ポリシー・ラーニング・フレームワークを用いる。
H-NDPは、状態空間の小さな領域における局所力学系に基づくポリシーを学習することでカリキュラムを形成する。
我々は,H-NDPが模倣と強化学習の双方と容易に統合され,最先端の成果が得られることを示した。
論文 参考訳(メタデータ) (2021-07-12T17:59:58Z) - Value Iteration in Continuous Actions, States and Time [99.00362538261972]
連続状態と動作に対する連続的適合値反復(cFVI)アルゴリズムを提案する。
非線形制御アフィンダイナミクスに対して最適なポリシを導出することができる。
物理システムのビデオは、urlhttps://sites.google.com/view/value-iteration.comで入手できる。
論文 参考訳(メタデータ) (2021-05-10T21:40:56Z) - Learning to Continuously Optimize Wireless Resource In Episodically
Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。
本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。
我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文 参考訳(メタデータ) (2020-11-16T08:24:34Z) - DOT: Dynamic Object Tracking for Visual SLAM [83.69544718120167]
DOTはインスタンスセグメンテーションとマルチビュー幾何を組み合わせて、動的オブジェクトのマスクを生成する。
実際にどのオブジェクトが動いているかを判断するために、DOTは、潜在的にダイナミックなオブジェクトの最初のインスタンスを抽出し、次に推定されたカメラモーションで、測光再投射誤差を最小限にして、そのようなオブジェクトを追跡する。
提案手法はORB-SLAM 2の精度とロバスト性を大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-09-30T18:36:28Z) - Self-Supervised Learning of Non-Rigid Residual Flow and Ego-Motion [63.18340058854517]
動的3次元シーンに対する非剛性残留流とエゴ運動流の連成推定によるエンドツーエンドのシーンフロー学習法を提案する。
我々は、点クラウドシーケンスの時間的一貫性性に基づいて、自己監督的な信号で教師付きフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-09-22T11:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。