論文の概要: Volumetric Mapping with Panoptic Refinement via Kernel Density Estimation for Mobile Robots
- arxiv url: http://arxiv.org/abs/2412.11241v1
- Date: Sun, 15 Dec 2024 16:46:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:55:20.485672
- Title: Volumetric Mapping with Panoptic Refinement via Kernel Density Estimation for Mobile Robots
- Title（参考訳）: 移動ロボットのカーネル密度推定によるパノプティカルリファインメントを用いた体積マッピング
- Authors: Khang Nguyen, Tuan Dang, Manfred Huber,
- Abstract要約: 移動ロボットは通常、軽量ネットワークを使用してRGB画像上にオブジェクトを分割し、深度マップを介してそれらをローカライズする。
非パラメトリックな統計的手法を用いて分割誤差を補修することで3次元シーン再構成における汎視的セグメンテーション品質の問題に対処する。
予測マスクを深度フレームにマッピングし,カーネル密度を用いて分布を推定する。
奥行き知覚の外れ値は、追加のパラメータを必要とせずに拒否される。
- 参考スコア（独自算出の注目度）: 2.8668675011182967
- License:
- Abstract: Reconstructing three-dimensional (3D) scenes with semantic understanding is vital in many robotic applications. Robots need to identify which objects, along with their positions and shapes, to manipulate them precisely with given tasks. Mobile robots, especially, usually use lightweight networks to segment objects on RGB images and then localize them via depth maps; however, they often encounter out-of-distribution scenarios where masks over-cover the objects. In this paper, we address the problem of panoptic segmentation quality in 3D scene reconstruction by refining segmentation errors using non-parametric statistical methods. To enhance mask precision, we map the predicted masks into a depth frame to estimate their distribution via kernel densities. The outliers in depth perception are then rejected without the need for additional parameters in an adaptive manner to out-of-distribution scenarios, followed by 3D reconstruction using projective signed distance functions (SDFs). We validate our method on a synthetic dataset, which shows improvements in both quantitative and qualitative results for panoptic mapping. Through real-world testing, the results furthermore show our method's capability to be deployed on a real-robot system. Our source code is available at: https://github.com/mkhangg/refined panoptic mapping.
- Abstract（参考訳）: 意味理解を伴う3次元(3D)シーンの再構築は多くのロボット応用において不可欠である。
ロボットは、与えられたタスクを正確に操作するために、どの物体とその位置と形状を識別する必要がある。
移動ロボットは、通常、軽量なネットワークを使ってRGB画像上にオブジェクトを分割し、深度マップでそれらをローカライズする。
本稿では,非パラメトリックな統計的手法を用いて分割誤差を補修することにより,3次元シーン再構成における汎視的セグメンテーション品質の問題に対処する。
マスク精度を向上させるために,予測マスクを深度フレームにマッピングし,カーネル密度を用いて分布を推定する。
奥行き知覚の外れ値は、分布外シナリオに適応的に追加パラメータを必要とせずに拒否され、続いて射影符号距離関数(SDF)を用いた3次元再構成が行われる。
提案手法を合成データセット上で検証し,パン光学マッピングにおける定量的および定性的な結果の改善を示す。
さらに,実世界のテストを通じて,実際のロボットシステムにメソッドをデプロイする能力を示す。
ソースコードは、https://github.com/mkhangg/refined panoptic mappingで公開されています。
関連論文リスト
- Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。
LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。
新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
論文 参考訳（メタデータ） (2024-10-24T17:54:42Z) - Memorize What Matters: Emergent Scene Decomposition from Multitraverse [54.487589469432706]
3次元ガウス写像は3次元ガウス写像をベースとしたカメラのみのオフラインマッピングフレームワークである。
3DGMは、同じ領域から複数のRGBビデオをガウスベースの環境マップに変換し、同時に2D短命なオブジェクトセグメンテーションを実行する。
We build the Mapverse benchmark, sourced from the Ithaca365 and nuPlan datasets, to evaluate our method in unsupervised 2D segmentation, 3D reconstruction, and Neural rendering。
論文 参考訳（メタデータ） (2024-05-27T14:11:17Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳（メタデータ） (2023-04-27T23:03:52Z) - Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
論文 参考訳（メタデータ） (2022-11-21T11:13:08Z) - SHINE-Mapping: Large-Scale 3D Mapping Using Sparse Hierarchical Implicit
Neural Representations [37.733802382489515]
本稿では, 3次元LiDAR計測を用いて, 暗示表現を用いた大規模3次元再構成を実現する際の課題について述べる。
我々はオクツリーに基づく階層構造を通じて暗黙的な特徴を学習し、保存する。
我々の3D再構成は、現在の最先端3Dマッピング法よりも正確で、完全で、メモリ効率が高いことを示す。
論文 参考訳（メタデータ） (2022-10-05T14:38:49Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳（メタデータ） (2022-07-06T08:52:12Z) - Large-Scale 3D Semantic Reconstruction for Automated Driving Vehicles
with Adaptive Truncated Signed Distance Function [9.414880946870916]
本稿では,LiDARとカメラセンサを用いた新しい3次元再構成と意味マッピングシステムを提案する。
Adaptive Truncated Functionは表面を暗黙的に記述するために導入され、異なるLiDAR点間隔を扱うことができる。
各三角形メッシュに対して最適なセマンティッククラスを推定するために,最適な画像パッチ選択戦略を提案する。
論文 参考訳（メタデータ） (2022-02-28T15:11:25Z) - Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。
評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
論文 参考訳（メタデータ） (2021-12-10T13:01:06Z) - Kimera-Multi: Robust, Distributed, Dense Metric-Semantic SLAM for
Multi-Robot Systems [92.26462290867963]
Kimera-Multiは、最初のマルチロボットシステムであり、不正なインターループとイントラロボットループの閉鎖を識別し拒否することができる。
我々は、フォトリアリスティックシミュレーション、SLAMベンチマークデータセット、地上ロボットを用いて収集された屋外データセットの挑戦において、Kimera-Multiを実証した。
論文 参考訳（メタデータ） (2021-06-28T03:56:40Z) - VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction [0.951828574518325]
3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。
推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
論文 参考訳（メタデータ） (2021-04-13T04:25:54Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-17T05:11:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。