論文の概要: DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using
Single-View Depth and Gradient Predictions
- arxiv url: http://arxiv.org/abs/2207.12244v1
- Date: Mon, 25 Jul 2022 14:55:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-26 15:41:15.618769
- Title: DeepFusion: Real-Time Dense 3D Reconstruction for Monocular SLAM using
Single-View Depth and Gradient Predictions
- Title（参考訳）: DeepFusion:シングルビュー深度と勾配予測を用いた単眼SLAMのリアルタイム高密度3次元再構成
- Authors: Tristan Laidlow, Jan Czarnowski, Stefan Leutenegger
- Abstract要約: DeepFusionは、GPU上でリアルタイムに高密度な再構成を生成することができる。
半密度多視点ステレオアルゴリズムの出力とCNNの深さと予測を確率的に融合する。
合成および実世界のデータセットのパフォーマンスに基づいて、DeepFusionは、少なくとも他の同等のシステムと同様に、実行可能であることを実証する。
- 参考スコア（独自算出の注目度）: 22.243043857097582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While the keypoint-based maps created by sparse monocular simultaneous
localisation and mapping (SLAM) systems are useful for camera tracking, dense
3D reconstructions may be desired for many robotic tasks. Solutions involving
depth cameras are limited in range and to indoor spaces, and dense
reconstruction systems based on minimising the photometric error between frames
are typically poorly constrained and suffer from scale ambiguity. To address
these issues, we propose a 3D reconstruction system that leverages the output
of a convolutional neural network (CNN) to produce fully dense depth maps for
keyframes that include metric scale.
Our system, DeepFusion, is capable of producing real-time dense
reconstructions on a GPU. It fuses the output of a semi-dense multiview stereo
algorithm with the depth and gradient predictions of a CNN in a probabilistic
fashion, using learned uncertainties produced by the network. While the network
only needs to be run once per keyframe, we are able to optimise for the depth
map with each new frame so as to constantly make use of new geometric
constraints. Based on its performance on synthetic and real-world datasets, we
demonstrate that DeepFusion is capable of performing at least as well as other
comparable systems.
- Abstract（参考訳）: sparse monocular concurrent localization and mapping (slam) システムによって作成されたキーポイントベースの地図は、カメラ追跡に有用であるが、密集した3d再構成は多くのロボットタスクに望ましい。
深度カメラを含むソリューションは範囲や屋内空間に制限されており、フレーム間の測光誤差を最小化することに基づく密集した再構成システムは通常、制約が低く、スケールの曖昧さに苦しむ。
そこで本研究では,畳み込みニューラルネットワーク(cnn)の出力を利用して,メートル法スケールを含むキーフレームの完全密度マップを作成する3次元再構成システムを提案する。
当社のシステムであるDeepFusionは,GPU上でリアルタイムに高密度な再構築を行うことができる。
ネットワークが生成する学習的不確実性を用いて、cnnの深さと勾配の予測を確率的方法で半拡散型マルチビューステレオアルゴリズムの出力と融合する。
ネットワークはキーフレーム毎に1回だけ実行される必要があるが、新しいフレームごとに深度マップを最適化することで、新しい幾何学的制約を常に利用することができる。
合成および実世界のデータセットのパフォーマンスに基づいて、DeepFusionは、少なくとも他の同等のシステムと同様に、実行可能であることを示す。
関連論文リスト
- FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳（メタデータ） (2023-08-10T17:55:02Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - SimpleMapping: Real-Time Visual-Inertial Dense Mapping with Deep
Multi-View Stereo [13.535871843518953]
モノクロ画像とIMU読解のみを用いた高画質のリアルタイムビジュアル慣性高密度マッピング法を提案する。
そこで本稿では,VIOシステムから得られる情報的だがノイズの多いスパースポイントを効果的に活用できるスパースポイント支援ステレオニューラルネットワーク(SPA-MVSNet)を提案する。
提案手法は,EuRoCデータセットの難易度評価において,既存システムよりも39.7%のFスコア向上を実現している。
論文 参考訳（メタデータ） (2023-06-14T17:28:45Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳（メタデータ） (2023-04-27T23:03:52Z) - SimpleRecon: 3D Reconstruction Without 3D Convolutions [21.952478592241]
本稿では,高品質なマルチビュー深度予測に焦点をあてることによって,単純なオフザシェルフ深度融合による高精度な3次元再構成を実現することを示す。
提案手法は,ScanNetと7シーンの3次元再構成において,深度推定と近接的あるいは良好な3次元再構成のための最先端技術に対する大きなリードを達成している。
論文 参考訳（メタデータ） (2022-08-31T09:46:34Z) - Towards the Probabilistic Fusion of Learned Priors into Standard
Pipelines for 3D Reconstruction [31.55322925389011]
我々はディープニューラルネットワークを訓練し、個々のピクセルの深さの離散的非パラメトリックな確率分布を1つの画像から予測する。
次に、この「確率容積」を、その後のフレームと画像との間の光度整合性に基づいて、別の確率体積と融合する。
論文 参考訳（メタデータ） (2022-07-27T11:28:49Z) - Neural 3D Scene Reconstruction with the Manhattan-world Assumption [58.90559966227361]
本稿では,多視点画像から3次元屋内シーンを再構築する課題について述べる。
平面的制約は、最近の暗黙の神経表現に基づく再構成手法に便利に組み込むことができる。
提案手法は, 従来の手法よりも3次元再構成品質に優れていた。
論文 参考訳（メタデータ） (2022-05-05T17:59:55Z) - GCNDepth: Self-supervised Monocular Depth Estimation based on Graph
Convolutional Network [11.332580333969302]
この研究は、深度マップの量的および質的な理解を高めるために、一連の改善を伴う新しいソリューションをもたらす。
グラフ畳み込みネットワーク(GCN)は、非ユークリッドデータ上の畳み込みを処理でき、位相構造内の不規則な画像領域に適用することができる。
提案手法は,公的なKITTIおよびMake3Dデータセットに対して,高い予測精度で89%の精度で同等かつ有望な結果を与える。
論文 参考訳（メタデータ） (2021-12-13T16:46:25Z) - 3DVNet: Multi-View Depth Prediction and Volumetric Refinement [68.68537312256144]
3DVNetは、新しいマルチビューステレオ(MVS)深度予測法である。
私たちのキーとなるアイデアは、粗い深度予測を反復的に更新する3Dシーンモデリングネットワークを使用することです。
本手法は, 深度予測と3次元再構成の両指標において, 最先端の精度を超えることを示す。
論文 参考訳（メタデータ） (2021-12-01T00:52:42Z) - Depth Completion Using a View-constrained Deep Prior [73.21559000917554]
近年の研究では、畳み込みニューラルネットワーク(CNN)の構造が、自然画像に有利な強い先行性をもたらすことが示されている。
この前者はディープ・イメージ・先行 (DIP) と呼ばれ、画像の装飾や塗装といった逆問題において有効な正則化器である。
我々は、DIPの概念を深度画像に拡張し、色画像とノイズと不完全な目標深度マップから、CNNネットワーク構造を先行して復元された深度マップを再構成する。
論文 参考訳（メタデータ） (2020-01-21T21:56:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。