論文の概要: Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors
- arxiv url: http://arxiv.org/abs/2211.11354v1
- Date: Mon, 21 Nov 2022 11:13:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 22:36:38.798186
- Title: Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors
- Title（参考訳）: スマートエッジセンサネットワークを用いたオブジェクトレベル3次元意味マッピング
- Authors: Julian Hau, Simon Bultmann, Sven Behnke
- Abstract要約: 我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
- 参考スコア（独自算出の注目度）: 25.393382192511716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous robots that interact with their environment require a detailed
semantic scene model. For this, volumetric semantic maps are frequently used.
The scene understanding can further be improved by including object-level
information in the map. In this work, we extend a multi-view 3D semantic
mapping system consisting of a network of distributed smart edge sensors with
object-level information, to enable downstream tasks that need object-level
input. Objects are represented in the map via their 3D mesh model or as an
object-centric volumetric sub-map that can model arbitrary object geometry when
no detailed 3D model is available. We propose a keypoint-based approach to
estimate object poses via PnP and refinement via ICP alignment of the 3D object
model with the observed point cloud segments. Object instances are tracked to
integrate observations over time and to be robust against temporary occlusions.
Our method is evaluated on the public Behave dataset where it shows pose
estimation accuracy within a few centimeters and in real-world experiments with
the sensor network in a challenging lab environment where multiple chairs and a
table are tracked through the scene online, in real time even under high
occlusions.
- Abstract（参考訳）: 環境と対話する自律ロボットは、詳細なセマンティックシーンモデルを必要とする。
そのため、ボリューム意味地図が頻繁に用いられる。
マップにオブジェクトレベルの情報を含めることで、シーン理解をさらに改善することができる。
本研究では,オブジェクトレベルの情報を含む分散スマートエッジセンサのネットワークからなるマルチビュー3次元意味マッピングシステムを拡張し,オブジェクトレベルの入力を必要とする下流タスクを実現する。
オブジェクトは3Dメッシュモデルまたはオブジェクト中心のボリュームサブマップとしてマップに表示され、詳細な3Dモデルが利用できない場合に任意のオブジェクト形状をモデル化できる。
本稿では,PnPを用いてオブジェクトのポーズを推定するキーポイントに基づくアプローチを提案し,観測点クラウドセグメントと3次元オブジェクトモデルのICPアライメントによる改善を提案する。
オブジェクトインスタンスは時間とともに観察を統合するために追跡され、一時的な閉塞に対して堅牢である。
提案手法は,数cm以内の姿勢推定精度を示すパブリック行動データセットと,複数の椅子とテーブルをオンライン上で高い咬合下でもリアルタイムに追跡する困難な実験室環境におけるセンサネットワークを用いた実世界実験で評価される。
関連論文リスト
- PatchContrast: Self-Supervised Pre-training for 3D Object Detection [14.603858163158625]
PatchContrastは、3Dオブジェクト検出のための新しい自己教師付きポイントクラウド事前学習フレームワークである。
提案手法は,3つの一般的な3次元検出データセットにおいて,既存の最先端モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-14T07:45:54Z) - 3DRP-Net: 3D Relative Position-aware Network for 3D Visual Grounding [58.924180772480504]
3Dビジュアルグラウンドは、自由形式の言語記述によって、ターゲットオブジェクトを3Dポイントクラウドにローカライズすることを目的としている。
3次元相対位置認識ネットワーク(3-Net)という,関係性を考慮した一段階フレームワークを提案する。
論文 参考訳（メタデータ） (2023-07-25T09:33:25Z) - Objects as Spatio-Temporal 2.5D points [5.588892124219713]
本研究では,ネットワークの単一フィードフォワードパスにおける2次元物体検出シーンの深度予測を協調学習することにより,物体の3次元位置を推定する弱い教師付き手法を提案する。
提案手法は,単点型オブジェクト検出装置を拡張し,各オブジェクトを時間的にBEVとしてモデル化し,クエリ時に3DやBEVアノテーションやLiDARデータを必要としない新しいオブジェクト表現を提案する。
論文 参考訳（メタデータ） (2022-12-06T05:14:30Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳（メタデータ） (2022-09-13T05:26:09Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T16:54:38Z) - S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation
with Semi-Supervised Learning [70.72037296392642]
モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。
具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。
より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
論文 参考訳（メタデータ） (2022-08-01T14:05:23Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳（メタデータ） (2022-07-06T08:52:12Z) - 3D Semantic Scene Perception using Distributed Smart Edge Sensors [29.998917158604694]
本稿では,分散スマートエッジセンサのネットワークからなる3次元セマンティックシーン認識システムを提案する。
センサーノードは、組み込みCNN推論アクセラレータとRGB-Dおよびサーマルカメラに基づいている。
提案システムでは,複数の人物の3次元ポーズをリアルタイムで推定し,意味的アノテーションを付加したシーンビューを提供する。
論文 参考訳（メタデータ） (2022-05-03T12:46:26Z) - Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。
以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。
本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-09T11:19:24Z) - DOPS: Learning to Detect 3D Objects and Predict their 3D Shapes [54.239416488865565]
LIDARデータに対する高速な1段3次元物体検出法を提案する。
我々の手法の中核となる新規性は高速かつシングルパスアーキテクチャであり、どちらも3次元の物体を検出し、それらの形状を推定する。
提案手法は,ScanNetシーンのオブジェクト検出で5%,オープンデータセットでは3.4%の精度で結果が得られた。
論文 参考訳（メタデータ） (2020-04-02T17:48:50Z) - Extending Maps with Semantic and Contextual Object Information for Robot
Navigation: a Learning-Based Framework using Visual and Depth Cues [12.984393386954219]
本稿では,RGB-D画像からのセマンティック情報を用いて,シーンのメートル法表現を付加する問題に対処する。
オブジェクトレベルの情報を持つ環境の地図表現を拡張化するための完全なフレームワークを提案する。
論文 参考訳（メタデータ） (2020-03-13T15:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。