論文の概要: HIDA: Towards Holistic Indoor Understanding for the Visually Impaired
via Semantic Instance Segmentation with a Wearable Solid-State LiDAR Sensor
- arxiv url: http://arxiv.org/abs/2107.03180v1
- Date: Wed, 7 Jul 2021 12:23:53 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-08 13:52:07.162348
- Title: HIDA: Towards Holistic Indoor Understanding for the Visually Impaired
via Semantic Instance Segmentation with a Wearable Solid-State LiDAR Sensor
- Title（参考訳）: HIDA:ウェアラブルソリッドステートLiDARセンサを用いたセマンティックインスタンスセグメンテーションによる視覚障害者の立体的室内理解に向けて
- Authors: Huayao Liu, Ruiping Liu, Kailun Yang, Jiaming Zhang, Kunyu Peng,
Rainer Stiefelhagen
- Abstract要約: HIDAは、固体LiDARセンサを用いた3Dポイントクラウドインスタンスセグメンテーションに基づく軽量補助システムである。
システム全体は,3つのハードウェアコンポーネント,2つの対話的機能(障害物回避とオブジェクト探索),および音声ユーザインタフェースから構成される。
提案した3Dインスタンスセグメンテーションモデルは、ScanNet v2データセットで最先端のパフォーマンスを達成した。
- 参考スコア（独自算出の注目度）: 25.206941504935685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Independently exploring unknown spaces or finding objects in an indoor
environment is a daily but challenging task for visually impaired people.
However, common 2D assistive systems lack depth relationships between various
objects, resulting in difficulty to obtain accurate spatial layout and relative
positions of objects. To tackle these issues, we propose HIDA, a lightweight
assistive system based on 3D point cloud instance segmentation with a
solid-state LiDAR sensor, for holistic indoor detection and avoidance. Our
entire system consists of three hardware components, two interactive
functions~(obstacle avoidance and object finding) and a voice user interface.
Based on voice guidance, the point cloud from the most recent state of the
changing indoor environment is captured through an on-site scanning performed
by the user. In addition, we design a point cloud segmentation model with dual
lightweight decoders for semantic and offset predictions, which satisfies the
efficiency of the whole system. After the 3D instance segmentation, we
post-process the segmented point cloud by removing outliers and projecting all
points onto a top-view 2D map representation. The system integrates the
information above and interacts with users intuitively by acoustic feedback.
The proposed 3D instance segmentation model has achieved state-of-the-art
performance on ScanNet v2 dataset. Comprehensive field tests with various tasks
in a user study verify the usability and effectiveness of our system for
assisting visually impaired people in holistic indoor understanding, obstacle
avoidance and object search.
- Abstract（参考訳）: 未知の空間を独立して探索したり、屋内環境で物体を見つけることは、視覚障害者にとって日々の課題である。
しかし、一般的な2次元補助システムは様々な物体間の深度関係を欠いているため、正確な空間配置と相対位置を得るのが困難である。
これらの課題に対処するために,固体LiDARセンサを用いた3Dポイントクラウドインスタンスセグメンテーションに基づく軽量支援システムHIDAを提案する。
システム全体は,3つのハードウェアコンポーネント,2つの対話機能～(障害物回避とオブジェクト発見)と音声ユーザインタフェースから構成される。
音声指導に基づいて、ユーザが行うオンサイトスキャンにより、室内環境の変化の最新状態からのポイントクラウドをキャプチャする。
さらに,システム全体の効率を満足するセマンティクスとオフセット予測のための2つの軽量デコーダを備えたポイントクラウドセグメンテーションモデルを設計する。
3Dインスタンスのセグメンテーションの後、アウトレーヤを除去し、すべてのポイントをトップビューの2Dマップ表現に投影することで、セグメンテーションされたポイントクラウドを後処理する。
システムは上記の情報を統合し、音響フィードバックによって直感的にユーザーと対話する。
提案した3Dインスタンスセグメンテーションモデルは、ScanNet v2データセットで最先端のパフォーマンスを達成した。
総合的な屋内理解,障害物回避,物体探索において視覚障害者を支援するシステムの有用性と有効性を検証する。
関連論文リスト
- PatchContrast: Self-Supervised Pre-training for 3D Object Detection [14.603858163158625]
PatchContrastは、3Dオブジェクト検出のための新しい自己教師付きポイントクラウド事前学習フレームワークである。
提案手法は,3つの一般的な3次元検出データセットにおいて,既存の最先端モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-08-14T07:45:54Z) - AOP-Net: All-in-One Perception Network for Joint LiDAR-based 3D Object
Detection and Panoptic Segmentation [9.513467995188634]
AOP-NetはLiDARベースのマルチタスクフレームワークで、3Dオブジェクトの検出とパノプティクスのセグメンテーションを組み合わせたものである。
AOP-Netは、nuScenesベンチマークにおける3Dオブジェクト検出とパノプティクスセグメンテーションの両タスクについて、最先端のパフォーマンスを達成している。
論文 参考訳（メタデータ） (2023-02-02T05:31:53Z) - Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
論文 参考訳（メタデータ） (2022-11-21T11:13:08Z) - CMR3D: Contextualized Multi-Stage Refinement for 3D Object Detection [57.44434974289945]
本稿では,3次元オブジェクト検出(CMR3D)フレームワークのためのコンテキスト型マルチステージリファインメントを提案する。
我々のフレームワークは3Dシーンを入力として取り、シーンの有用なコンテキスト情報を明示的に統合しようと試みている。
3Dオブジェクトの検出に加えて,3Dオブジェクトカウント問題に対するフレームワークの有効性について検討する。
論文 参考訳（メタデータ） (2022-09-13T05:26:09Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T16:54:38Z) - The Devil is in the Task: Exploiting Reciprocal Appearance-Localization
Features for Monocular 3D Object Detection [62.1185839286255]
低コストのモノクル3D物体検出は、自律運転において基本的な役割を果たす。
DFR-Netという動的特徴反射ネットワークを導入する。
我々は、KITTIテストセットの全ての単分子3D物体検出器の中で、第1位にランク付けする。
論文 参考訳（メタデータ） (2021-12-28T07:31:18Z) - PLUME: Efficient 3D Object Detection from Stereo Images [95.31278688164646]
既存の手法では、2つのステップでこの問題に対処する: 第一深度推定を行い、その深さ推定から擬似LiDAR点雲表現を計算し、3次元空間で物体検出を行う。
この2つのタスクを同一のメトリック空間で統一するモデルを提案する。
提案手法は,既存の手法と比較して推定時間を大幅に削減し,挑戦的なKITTIベンチマークの最先端性能を実現する。
論文 参考訳（メタデータ） (2021-01-17T05:11:38Z) - Improving Point Cloud Semantic Segmentation by Learning 3D Object
Detection [102.62963605429508]
ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。
現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。
Aware 3D Semantic Detection (DASS) フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-22T14:17:40Z) - Stereo RGB and Deeper LIDAR Based Network for 3D Object Detection [40.34710686994996]
3Dオブジェクト検出は、自動運転のシナリオにおいて新たな課題となっている。
以前の作業では、プロジェクションベースまたはボクセルベースのモデルを使用して3Dポイントクラウドを処理していた。
本稿では,意味情報と空間情報の同時利用が可能なStereo RGBおよびDeeper LIDARフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-09T11:19:24Z) - D3Feat: Joint Learning of Dense Detection and Description of 3D Local
Features [51.04841465193678]
私たちは3Dポイントクラウドに3D完全畳み込みネットワークを活用しています。
本稿では,3次元点ごとに検出スコアと記述特徴の両方を密に予測する,新しい,実践的な学習機構を提案する。
本手法は,屋内と屋外の両方のシナリオで最先端の手法を実現する。
論文 参考訳（メタデータ） (2020-03-06T12:51:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。