論文の概要: Extending Maps with Semantic and Contextual Object Information for Robot Navigation: a Learning-Based Framework using Visual and Depth Cues

• arxiv url: http://arxiv.org/abs/2003.06336v1
• Date: Fri, 13 Mar 2020 15:05:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-24 02:18:24.220336
• Title: Extending Maps with Semantic and Contextual Object Information for Robot Navigation: a Learning-Based Framework using Visual and Depth Cues
• Title（参考訳）: ロボットナビゲーションのための意味的・文脈的対象情報を用いた地図の拡張:視覚・深度キューを用いた学習ベースフレームワーク
• Authors: Renato Martins, Dhiego Bersan, Mario F. M. Campos and Erickson R. Nascimento
• Abstract要約: 本稿では,RGB-D画像からのセマンティック情報を用いて,シーンのメートル法表現を付加する問題に対処する。 オブジェクトレベルの情報を持つ環境の地図表現を拡張化するための完全なフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 12.984393386954219
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper addresses the problem of building augmented metric representations of scenes with semantic information from RGB-D images. We propose a complete framework to create an enhanced map representation of the environment with object-level information to be used in several applications such as human-robot interaction, assistive robotics, visual navigation, or in manipulation tasks. Our formulation leverages a CNN-based object detector (Yolo) with a 3D model-based segmentation technique to perform instance semantic segmentation, and to localize, identify, and track different classes of objects in the scene. The tracking and positioning of semantic classes is done with a dictionary of Kalman filters in order to combine sensor measurements over time and then providing more accurate maps. The formulation is designed to identify and to disregard dynamic objects in order to obtain a medium-term invariant map representation. The proposed method was evaluated with collected and publicly available RGB-D data sequences acquired in different indoor scenes. Experimental results show the potential of the technique to produce augmented semantic maps containing several objects (notably doors). We also provide to the community a dataset composed of annotated object classes (doors, fire extinguishers, benches, water fountains) and their positioning, as well as the source code as ROS packages.
• Abstract（参考訳）: 本稿では,RGB-D画像からのセマンティック情報を用いて,シーンのメートル法表現を付加する問題に対処する。 本研究では,人間ロボットインタラクション,ロボット支援,視覚ナビゲーション,操作タスクなど,複数のアプリケーションで使用されるオブジェクトレベルの情報を備えた環境の地図表現を拡張したフレームワークを提案する。 我々の定式化は、CNNベースのオブジェクト検出器(Yolo)と3次元モデルに基づくセグメンテーション技術を利用して、インスタンスセグメンテーションを行い、シーン内のさまざまなオブジェクトのクラスをローカライズ、識別、追跡する。 セマンティッククラスの追跡と位置決めはカルマンフィルタの辞書を用いて行われ、センサ計測を時間とともに組み合わせ、より正確な地図を提供する。 この定式化は、中期不変写像表現を得るために動的対象を識別し無視するように設計されている。 提案手法は,異なる屋内シーンで収集したrgb-dデータシーケンスを用いて評価した。 実験により,複数のオブジェクト(特にドア)を含む拡張意味マップを作成する手法の可能性を示した。 我々はまた、アノテーション付きオブジェクトクラス(ドア、消火器、ベンチ、噴水)とその位置決めとROSパッケージとしてのソースコードからなるデータセットをコミュニティに提供する。

関連論文リスト

• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• Towards Localizing Structural Elements: Merging Geometrical Detection with Semantic Verification in RGB-D Data [0.0]
  本稿では, 壁面や地表面などの構造成分を局所化するための実時間パイプラインについて, 純三次元平面検出のための幾何計算を統合した。 並列なマルチスレッドアーキテクチャを持ち、環境中で検出されたすべての平面のポーズと方程式を正確に推定し、汎視的セグメンテーション検証を用いて地図構造を形成するものをフィルタリングし、検証された構成部品のみを保持する。 また、検出されたコンポーネントを統一された3次元シーングラフに(再)関連付けることで、幾何学的精度と意味的理解のギャップを埋めることもできる。
  論文  参考訳（メタデータ） (2024-09-10T16:28:09Z)
• Category-level Object Detection, Pose Estimation and Reconstruction from Stereo Images [15.921719523588996]
  既存の単分子法とRGB-D法は、欠落や深さの測定によるスケールの曖昧さに悩まされている。 本稿では,カテゴリーレベルの物体検出のための一段階的アプローチであるCoDERSを提案する。 私たちのデータセット、コード、デモはプロジェクトのページで公開されます。
  論文  参考訳（メタデータ） (2024-07-09T15:59:03Z)
• Object-Oriented Material Classification and 3D Clustering for Improved Semantic Perception and Mapping in Mobile Robots [6.395242048226456]
  本稿では,オブジェクト指向パイプライン上に構築されたRGB-D教材分類のための補足型ディープラーニング手法を提案する。 本研究では,3次元セマンティックシーンマッピングの最先端手法と比較して,材料分類と3次元クラスタリングの精度が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2024-07-08T16:25:01Z)
• Mapping High-level Semantic Regions in Indoor Environments without Object Recognition [50.624970503498226]
  本研究では,屋内環境における埋め込みナビゲーションによる意味領域マッピング手法を提案する。 地域識別を実現するために,視覚言語モデルを用いて地図作成のためのシーン情報を提供する。 グローバルなフレームにエゴセントリックなシーン理解を投影することにより、提案手法は各場所の可能な領域ラベル上の分布としてのセマンティックマップを生成する。
  論文  参考訳（メタデータ） (2024-03-11T18:09:50Z)
• Object Goal Navigation with Recursive Implicit Maps [92.6347010295396]
  対象目標ナビゲーションのための暗黙的な空間マップを提案する。 提案手法は, 挑戦的なMP3Dデータセット上での技量を著しく上回る。 我々は、実際のロボットにモデルをデプロイし、実際のシーンでオブジェクトゴールナビゲーションの結果を奨励する。
  論文  参考訳（メタデータ） (2023-08-10T14:21:33Z)
• Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
  我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。 提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2022-11-21T11:13:08Z)
• Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language Navigation [87.52136927091712]
  我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。 高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。 より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
  論文  参考訳（メタデータ） (2022-10-14T04:23:27Z)
• SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
  人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。 ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。 このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
  論文  参考訳（メタデータ） (2021-03-31T15:01:04Z)
• Semantic and Geometric Modeling with Neural Message Passing in 3D Scene Graphs for Hierarchical Mechanical Search [48.655167907740136]
  この問題の階層的,意味的,幾何学的側面を捉えるために,3次元シーングラフ表現を用いる。 自然言語記述で指定された対象物を見つけるためのエージェントの動作を誘導する手法である階層機械探索(HMS)を紹介する。 HMSは、セマンティック関連オブジェクトを格納場所に密配置した500の3Dシーングラフのデータセットで評価されている。
  論文  参考訳（メタデータ） (2020-12-07T21:04:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。