論文の概要: 3D Semantic Scene Perception using Distributed Smart Edge Sensors
- arxiv url: http://arxiv.org/abs/2205.01460v1
- Date: Tue, 3 May 2022 12:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 14:55:22.248916
- Title: 3D Semantic Scene Perception using Distributed Smart Edge Sensors
- Title（参考訳）: 分散スマートエッジセンサを用いた3次元セマンティックシーン知覚
- Authors: Simon Bultmann and Sven Behnke
- Abstract要約: 本稿では,分散スマートエッジセンサのネットワークからなる3次元セマンティックシーン認識システムを提案する。
センサーノードは、組み込みCNN推論アクセラレータとRGB-Dおよびサーマルカメラに基づいている。
提案システムでは,複数の人物の3次元ポーズをリアルタイムで推定し,意味的アノテーションを付加したシーンビューを提供する。
- 参考スコア（独自算出の注目度）: 29.998917158604694
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a system for 3D semantic scene perception consisting of a network
of distributed smart edge sensors. The sensor nodes are based on an embedded
CNN inference accelerator and RGB-D and thermal cameras. Efficient vision CNN
models for object detection, semantic segmentation, and human pose estimation
run on-device in real time. 2D human keypoint estimations, augmented with the
RGB-D depth estimate, as well as semantically annotated point clouds are
streamed from the sensors to a central backend, where multiple viewpoints are
fused into an allocentric 3D semantic scene model. As the image interpretation
is computed locally, only semantic information is sent over the network. The
raw images remain on the sensor boards, significantly reducing the required
bandwidth, and mitigating privacy risks for the observed persons. We evaluate
the proposed system in challenging real-world multi-person scenes in our lab.
The proposed perception system provides a complete scene view containing
semantically annotated 3D geometry and estimates 3D poses of multiple persons
in real time.
- Abstract（参考訳）: 本稿では,分散スマートエッジセンサのネットワークからなる3次元セマンティックシーン認識システムを提案する。
センサーノードは、組み込みCNN推論アクセラレータとRGB-Dおよびサーマルカメラに基づいている。
オブジェクト検出、セマンティックセグメンテーション、人間のポーズ推定のための効率的な視覚CNNモデルは、デバイス上でリアルタイムで実行される。
RGB-D深度推定を付加した2次元人間のキーポイント推定と、センサから中央のバックエンドに意味的注釈付きポイントクラウドをストリームし、複数の視点を同中心の3Dセマンティックシーンモデルに融合させる。
画像解釈をローカルに計算すると、意味情報だけがネットワーク経由で送信される。
生の画像はセンサーボードに残され、必要な帯域幅を大幅に削減し、観察された人のプライバシーリスクを軽減する。
本実験では,実世界の多人数場面に挑戦して提案システムを評価する。
提案システムでは,複数の人物の3次元ポーズをリアルタイムで推定し,意味的アノテーションを付加したシーンビューを提供する。
関連論文リスト
- ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳（メタデータ） (2023-11-29T20:30:18Z) - SOGDet: Semantic-Occupancy Guided Multi-view 3D Object Detection [19.75965521357068]
本稿では,SOGDet(Semantic-Occupancy Guided Multi-view Object Detection)と呼ばれる新しい手法を提案する。
以上の結果から,SOGDet は nuScenes Detection Score (NDS) と平均平均精度 (mAP) の3つのベースライン法の性能を一貫して向上させることがわかった。
これは、3Dオブジェクト検出と3Dセマンティック占有の組み合わせが、3D環境をより包括的に認識し、より堅牢な自律運転システムの構築を支援することを示唆している。
論文 参考訳（メタデータ） (2023-08-26T07:38:21Z) - SeMLaPS: Real-time Semantic Mapping with Latent Prior Networks and
Quasi-Planar Segmentation [53.83313235792596]
本稿では,RGB-Dシーケンスからのリアルタイム意味マッピングのための新しい手法を提案する。
2DニューラルネットワークとSLAMシステムに基づく3Dネットワークと3D占有マッピングを組み合わせる。
本システムは,2D-3Dネットワークベースシステムにおいて,最先端のセマンティックマッピング品質を実現する。
論文 参考訳（メタデータ） (2023-06-28T22:36:44Z) - Neural Implicit Dense Semantic SLAM [83.04331351572277]
本稿では,屋内シーンのメモリ効率,高密度な3次元形状,セマンティックセマンティックセグメンテーションをオンラインで学習する新しいRGBD vSLAMアルゴリズムを提案する。
私たちのパイプラインは、従来の3Dビジョンベースのトラッキングとループクローズとニューラルフィールドベースのマッピングを組み合わせたものです。
提案アルゴリズムはシーン認識を大幅に向上させ,様々なロボット制御問題を支援する。
論文 参考訳（メタデータ） (2023-04-27T23:03:52Z) - Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
論文 参考訳（メタデータ） (2022-11-21T11:13:08Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T16:54:38Z) - Paint and Distill: Boosting 3D Object Detection with Semantic Passing
Network [70.53093934205057]
ライダーやカメラセンサーからの3Dオブジェクト検出タスクは、自動運転に不可欠である。
本研究では,既存のライダーベース3D検出モデルの性能向上を図るために,SPNetという新しいセマンティックパスフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-12T12:35:34Z) - Semi-Perspective Decoupled Heatmaps for 3D Robot Pose Estimation from
Depth Maps [66.24554680709417]
協調環境における労働者とロボットの正確な3D位置を知ることは、いくつかの実際のアプリケーションを可能にする。
本研究では、深度デバイスと深度ニューラルネットワークに基づく非侵襲的なフレームワークを提案し、外部カメラからロボットの3次元ポーズを推定する。
論文 参考訳（メタデータ） (2022-07-06T08:52:12Z) - Real-Time Multi-View 3D Human Pose Estimation using Semantic Feedback to
Smart Edge Sensors [28.502280038100167]
各カメラビューに対する2次元関節検出は、専用の埋め込み推論プロセッサ上で局所的に行われる。
3次元ポーズは、三角法と体モデルに基づいて、中央のバックエンドにある2次元関節から回収される。
パイプライン全体がリアルタイム操作が可能なのです。
論文 参考訳（メタデータ） (2021-06-28T14:00:00Z) - Ground-aware Monocular 3D Object Detection for Autonomous Driving [6.5702792909006735]
1台のRGBカメラで環境中の物体の位置と向きを推定することは、低コストの都市自動運転と移動ロボットにとって難しい課題である。
既存のアルゴリズムのほとんどは、2D-3D対応における幾何学的制約に基づいており、これは一般的な6Dオブジェクトのポーズ推定に由来する。
深層学習の枠組みにおいて、そのようなアプリケーション固有の事前知識を完全に活用するための新しいニューラルネットワークモジュールを導入する。
論文 参考訳（メタデータ） (2021-02-01T08:18:24Z) - Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。
以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。
本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-09T11:19:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。