論文の概要: RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments

• arxiv url: http://arxiv.org/abs/2408.15503v4
• Date: Mon, 25 Nov 2024 06:24:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:16:50.602255
• Title: RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments
• Title（参考訳）: RoboSense: 群集環境と非構造環境におけるロボット知覚とナビゲーションのための大規模データセットとベンチマーク
• Authors: Haisheng Su, Feixiang Song, Cong Ma, Wei Wu, Junchi Yan,
• Abstract要約: 我々は3種類のセンサー(Camera, LiDAR, Fisheye)をベースとした自我中心型マルチセンサデータ収集プラットフォームを構築した。 大規模なマルチモーダルデータセットであるRoboSenseは、エゴセントリックなロボット知覚を促進するために構築されている。
• 参考スコア（独自算出の注目度）: 62.5830455357187
• License:
• Abstract: Reliable embodied perception from an egocentric perspective is challenging yet essential for autonomous navigation technology of intelligent mobile agents. With the growing demand of social robotics, near-field scene understanding becomes an important research topic in the areas of egocentric perceptual tasks related to navigation in both crowded and unstructured environments. Due to the complexity of environmental conditions and difficulty of surrounding obstacles owing to truncation and occlusion, the perception capability under this circumstance is still inferior. To further enhance the intelligence of mobile robots, in this paper, we setup an egocentric multi-sensor data collection platform based on 3 main types of sensors (Camera, LiDAR and Fisheye), which supports flexible sensor configurations to enable dynamic sight of view from ego-perspective, capturing either near or farther areas. Meanwhile, a large-scale multimodal dataset is constructed, named RoboSense, to facilitate egocentric robot perception. Specifically, RoboSense contains more than 133K synchronized data with 1.4M 3D bounding box and IDs annotated in the full $360^{\circ}$ view, forming 216K trajectories across 7.6K temporal sequences. It has $270\times$ and $18\times$ as many annotations of surrounding obstacles within near ranges as the previous datasets collected for autonomous driving scenarios such as KITTI and nuScenes. Moreover, we define a novel matching criterion for near-field 3D perception and prediction metrics. Based on RoboSense, we formulate 6 popular tasks to facilitate the future research development, where the detailed analysis as well as benchmarks are also provided accordingly. Data desensitization measures have been conducted for privacy protection.
• Abstract（参考訳）: インテリジェントな移動エージェントの自律ナビゲーション技術には、エゴセントリックな観点からの信頼性の高い具体的認識が不可欠である。 社会ロボティクスの需要が高まる中、密集した環境と非構造的な環境におけるナビゲーションに関連する自我中心の知覚タスクの領域において、近接場理解が重要な研究トピックとなっている。 環境条件の複雑化と、乱れや閉塞による周囲の障害物の難しさにより、この状況下での知覚能力は依然として劣っている。 本稿では,3種類のセンサ(Camera, LiDAR, Fisheye)をベースとした,エゴ中心型多センサデータ収集プラットフォームを構築した。 一方、大規模なマルチモーダルデータセットRoboSenseは、エゴセントリックなロボット知覚を促進するために構築されている。 具体的には、RoboSenseは133K以上の同期データと1.4Mの3DバウンディングボックスとIDを完全な360^{\circ}$ビューで注釈付けし、7.6Kの時間シーケンスに216Kのトラジェクトリを形成する。 KITTIやnuScenesのような自動運転シナリオのために収集された以前のデータセットと同じくらい、ほぼ範囲内の障害に関するアノテーションが270ドルと18ドルだ。 さらに,近距離場における3次元知覚と予測指標のマッチング基準を新たに定義する。 RoboSenseをベースとして,今後の研究開発を促進するために6つの一般的なタスクを定式化し,それに応じて詳細な分析とベンチマークも提供する。 プライバシー保護のためのデータ脱感作対策が実施されている。

関連論文リスト

• RoboSpatial: Teaching Spatial Understanding to 2D and 3D Vision-Language Models for Robotics [26.42651735582044]
  室内とテーブルトップのシーンを3Dスキャンで捉えた大規模な空間理解データセットであるRoboSpatialと,ロボット工学に関連する豊富な空間情報を付加したエゴセントリック画像を紹介する。 実験の結果,RoboSpatialで訓練したモデルは,空間的空き時間予測,空間的関係予測,ロボット操作といった下流タスクのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-11-25T16:21:34Z)
• JRDB-PanoTrack: An Open-world Panoptic Segmentation and Tracking Robotic Dataset in Crowded Human Environments [33.85323884177833]
  JRDB-PanoTrackは,ロボットシステムにおける環境理解のためのオープンワールド・パノプティクス・セグメンテーションとトラッキング・ベンチマークである。 JRDB-PanoTrackは,1)屋内および屋外の混雑シーンを含む各種データと,総合的な2Dおよび3D同期データモダリティを含む。 クローズドおよびオープンワールド認識ベンチマーク用のさまざまなオブジェクトクラス、評価のためのOSPAベースのメトリクス。
  論文  参考訳（メタデータ） (2024-04-02T06:43:22Z)
• HabitatDyn Dataset: Dynamic Object Detection to Kinematics Estimation [16.36110033895749]
  本稿では,合成RGBビデオ,セマンティックラベル,深度情報,および運動情報を含むデータセットHabitatDynを提案する。 HabitatDynは移動カメラを搭載した移動ロボットの視点で作られ、6種類の移動物体をさまざまな速度で撮影する30のシーンを含んでいる。
  論文  参考訳（メタデータ） (2023-04-21T09:57:35Z)
• Point Cloud Forecasting as a Proxy for 4D Occupancy Forecasting [58.45661235893729]
  有望な自己管理タスクの1つは、注釈のないLiDARシーケンスからの3Dポイントクラウド予測である。 本課題は,(1)センサ外在物(自動運転車の移動),(2)センサ内在物(特定のLiDARセンサに特有のサンプリングパターン),(3)シーン内の他の物体の形状と動きを暗黙的にキャプチャするアルゴリズムを必要とすることを示す。 センサ外在性および内在性に関する4D占有率予測のポイントクラウドデータをレンダリングすることにより、注釈のないLiDARシーケンスで占有率アルゴリズムをトレーニングし、テストすることができる。
  論文  参考訳（メタデータ） (2023-02-25T18:12:37Z)
• aiMotive Dataset: A Multimodal Dataset for Robust Autonomous Driving with Long-Range Perception [0.0]
  このデータセットは、同期して校正されたLiDAR、カメラ、および360度の視野をカバーするレーダーセンサーを備えた176のシーンで構成されている。 収集したデータは、昼間、夜、雨の間に、高速道路、都市、郊外で撮影された。 我々は3次元物体検出のための一次元・多モードベースラインモデルを訓練した。
  論文  参考訳（メタデータ） (2022-11-17T10:19:59Z)
• Socially Compliant Navigation Dataset (SCAND): A Large-Scale Dataset of Demonstrations for Social Navigation [92.66286342108934]
  社会ナビゲーションは、ロボットのような自律的なエージェントが、人間のような他の知的エージェントの存在下で、社会的に従順な方法でナビゲートする能力である。 私たちのデータセットには8.7時間、128の軌道、25マイルの社会的に適合した人間の遠隔運転デモが含まれています。
  論文  参考訳（メタデータ） (2022-03-28T19:09:11Z)
• KITTI-360: A Novel Dataset and Benchmarks for Urban Scene Understanding in 2D and 3D [67.50776195828242]
  KITTI-360は、よりリッチな入力モダリティ、包括的なセマンティックインスタンスアノテーション、正確なローカライゼーションを含む郊外の運転データセットである。 その結果,150k以上のセマンティクスとインスタンスのアノテート画像と1Bのアノテート3Dポイントが得られた。 我々は、同じデータセット上のコンピュータビジョン、グラフィックス、ロボット工学の問題を含む、モバイル知覚に関連するいくつかのタスクのベンチマークとベースラインを構築した。
  論文  参考訳（メタデータ） (2021-09-28T00:41:29Z)
• Domain and Modality Gaps for LiDAR-based Person Detection on Mobile Robots [91.01747068273666]
  本稿では,移動ロボットのシナリオに着目した既存のLiDAR人物検出装置について検討する。 実験は3Dと2D LiDARのセンサー間のモダリティのギャップだけでなく、運転と移動ロボットのシナリオ間の領域ギャップを回避している。 その結果、LiDARに基づく人物検出の実践的な洞察を与え、関連する移動ロボットの設計と応用に関する情報決定を容易にする。
  論文  参考訳（メタデータ） (2021-06-21T16:35:49Z)
• Task-relevant Representation Learning for Networked Robotic Perception [74.0215744125845]
  本稿では,事前学習されたロボット知覚モデルの最終的な目的と協調して設計された感覚データのタスク関連表現を学習するアルゴリズムを提案する。 本アルゴリズムは,ロボットの知覚データを競合する手法の最大11倍まで積極的に圧縮する。
  論文  参考訳（メタデータ） (2020-11-06T07:39:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。