論文の概要: OpenNav: Efficient Open Vocabulary 3D Object Detection for Smart Wheelchair Navigation
- arxiv url: http://arxiv.org/abs/2408.13936v1
- Date: Sun, 25 Aug 2024 20:53:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-27 15:22:15.514723
- Title: OpenNav: Efficient Open Vocabulary 3D Object Detection for Smart Wheelchair Navigation
- Title（参考訳）: OpenNav: スマート車椅子ナビゲーションのための効率的なオープン語彙3Dオブジェクト検出
- Authors: Muhammad Rameez ur Rahman, Piero Simonetto, Anna Polato, Francesco Pasti, Luca Tonin, Sebastiano Vascon,
- Abstract要約: 本稿では、スマート車椅子用RGB-D画像に基づくゼロショット3Dオブジェクト検出パイプラインOpenNavを提案する。
我々のパイプラインは、オープン語彙の2Dオブジェクト検出器と、セマンティックセグメンテーションのためのマスクジェネレータを統合し、続いて深度分離と点雲の構築を行い、3Dバウンディングボックスを作成する。
スマート車椅子は、これらの3Dバウンディングボックスを利用して、潜在的なターゲットを特定し、安全にナビゲートする。
- 参考スコア（独自算出の注目度）: 2.0748181039919067
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open vocabulary 3D object detection (OV3D) allows precise and extensible object recognition crucial for adapting to diverse environments encountered in assistive robotics. This paper presents OpenNav, a zero-shot 3D object detection pipeline based on RGB-D images for smart wheelchairs. Our pipeline integrates an open-vocabulary 2D object detector with a mask generator for semantic segmentation, followed by depth isolation and point cloud construction to create 3D bounding boxes. The smart wheelchair exploits these 3D bounding boxes to identify potential targets and navigate safely. We demonstrate OpenNav's performance through experiments on the Replica dataset and we report preliminary results with a real wheelchair. OpenNav improves state-of-the-art significantly on the Replica dataset at mAP25 (+9pts) and mAP50 (+5pts) with marginal improvement at mAP. The code is publicly available at this link: https://github.com/EasyWalk-PRIN/OpenNav.
- Abstract（参考訳）: オープンボキャブラリー3Dオブジェクト検出(OV3D)は、補助ロボット工学で遭遇する多様な環境に適応するために、正確で拡張可能な物体認識を可能にする。
本稿では、スマート車椅子用RGB-D画像に基づくゼロショット3Dオブジェクト検出パイプラインOpenNavを提案する。
我々のパイプラインは、オープン語彙の2Dオブジェクト検出器と、セマンティックセグメンテーションのためのマスクジェネレータを統合し、続いて深度分離と点雲の構築を行い、3Dバウンディングボックスを作成する。
スマート車椅子は、これらの3Dバウンディングボックスを利用して、潜在的なターゲットを特定し、安全にナビゲートする。
我々は、Replicaデータセットの実験を通してOpenNavのパフォーマンスを実証し、実際の車椅子で予備結果を報告する。
OpenNavは、mAP25(+9pts)とmAP50(+5pts)におけるReplicaデータセットの最先端性を大幅に改善し、mAPにおける限界改善を実現している。
コードは、このリンクで公開されている。 https://github.com/EasyWalk-PRIN/OpenNav。
関連論文リスト
- Training an Open-Vocabulary Monocular 3D Object Detection Model without 3D Data [57.53523870705433]
我々はOVM3D-Detと呼ばれる新しいオープン語彙単分子オブジェクト検出フレームワークを提案する。
OVM3D-Detは、入力または3Dバウンディングボックスを生成するために高精度のLiDARや3Dセンサーデータを必要としない。
オープンボキャブラリ2Dモデルと擬似LiDARを使用して、RGB画像に3Dオブジェクトを自動的にラベル付けし、オープンボキャブラリ単分子3D検出器の学習を促進する。
論文 参考訳（メタデータ） (2024-11-23T21:37:21Z) - HM3D-OVON: A Dataset and Benchmark for Open-Vocabulary Object Goal Navigation [39.54854283833085]
Habitat-Matterport 3D Open Vocabulary Object Goal Navigation データセット(HM3D-OVON)を提案する。
HM3D-OVONは、379の異なるカテゴリにわたる15k以上の注釈付きオブジェクトのインスタンスを組み込んでいる。
我々は,HM3D-OVONを用いて,オープン語彙のObjectNavエージェントを訓練し,高い性能を実現し,最先端のObjectNavアプローチよりもローカライゼーションやアクティベーションノイズに頑健であることを確認した。
論文 参考訳（メタデータ） (2024-09-22T02:12:29Z) - Sparse Points to Dense Clouds: Enhancing 3D Detection with Limited LiDAR Data [68.18735997052265]
単分子と点雲に基づく3次元検出の利点を組み合わせたバランスの取れたアプローチを提案する。
本手法では,低コストで低解像度のセンサから得られる3Dポイントを少数必要としている。
3次元検出の精度は最先端の単分子検出法と比較して20%向上する。
論文 参考訳（メタデータ） (2024-04-10T03:54:53Z) - 3D-Aware Object Goal Navigation via Simultaneous Exploration and
Identification [19.125633699422117]
本稿では,2つの簡単なサブ政治に基づく3D認識型ObjectNavのフレームワークを提案する。
私たちのフレームワークは,Matterport3DとGibsonのデータセット上で,すべてのモジュールベースのメソッドの中で最高のパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2022-12-01T07:55:56Z) - SWFormer: Sparse Window Transformer for 3D Object Detection in Point
Clouds [44.635939022626744]
ポイントクラウドにおける3Dオブジェクト検出は、現代のロボティクスと自律運転システムの中核となるコンポーネントである。
3Dオブジェクト検出の鍵となる課題は、3Dシーン内でのポイント占有のスパースな性質にある。
Sparse Window Transformer (SWFormer) を提案する。
論文 参考訳（メタデータ） (2022-10-13T21:37:53Z) - Fully Sparse 3D Object Detection [57.05834683261658]
長距離LiDARオブジェクト検出のためのフルスパース3Dオブジェクト検出器(FSD)を構築した。
FSDは一般的なスパース・ボクセル・エンコーダと新しいスパース・インスタンス認識(SIR)モジュール上に構築されている。
SIRは、ポイントをインスタンスにグループ化することで、以前のポイントベースのメソッドでの待ち行列クエリを避ける。
論文 参考訳（メタデータ） (2022-07-20T17:01:33Z) - PersFormer: 3D Lane Detection via Perspective Transformer and the
OpenLane Benchmark [109.03773439461615]
PersFormerは、新しいトランスフォーマーベースの空間特徴変換モジュールを備えた、エンドツーエンドのモノクル3Dレーン検出器である。
高品質なアノテーションとシナリオの多様性を備えたOpenLaneと呼ばれる,最初の大規模な3Dレーンデータセットの1つをリリースしました。
論文 参考訳（メタデータ） (2022-03-21T16:12:53Z) - PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object
Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21) [68.12101204123422]
点雲は3次元座標における空間データの密集したコンパイルである。
我々は3次元多目的追跡(MOT)のためのPointNetベースのアプローチを提案する。
論文 参考訳（メタデータ） (2021-06-03T05:36:39Z) - Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
3D MOT問題に対する統一型学習型アプローチを提案します。
我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。
AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
論文 参考訳（メタデータ） (2021-04-23T17:59:28Z) - Ground-aware Monocular 3D Object Detection for Autonomous Driving [6.5702792909006735]
1台のRGBカメラで環境中の物体の位置と向きを推定することは、低コストの都市自動運転と移動ロボットにとって難しい課題である。
既存のアルゴリズムのほとんどは、2D-3D対応における幾何学的制約に基づいており、これは一般的な6Dオブジェクトのポーズ推定に由来する。
深層学習の枠組みにおいて、そのようなアプリケーション固有の事前知識を完全に活用するための新しいニューラルネットワークモジュールを導入する。
論文 参考訳（メタデータ） (2021-02-01T08:18:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。