論文の概要: Extending Maps with Semantic and Contextual Object Information for Robot
Navigation: a Learning-Based Framework using Visual and Depth Cues
- arxiv url: http://arxiv.org/abs/2003.06336v1
- Date: Fri, 13 Mar 2020 15:05:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-24 02:18:24.220336
- Title: Extending Maps with Semantic and Contextual Object Information for Robot
Navigation: a Learning-Based Framework using Visual and Depth Cues
- Title(参考訳): ロボットナビゲーションのための意味的・文脈的対象情報を用いた地図の拡張:視覚・深度キューを用いた学習ベースフレームワーク
- Authors: Renato Martins, Dhiego Bersan, Mario F. M. Campos and Erickson R.
Nascimento
- Abstract要約: 本稿では,RGB-D画像からのセマンティック情報を用いて,シーンのメートル法表現を付加する問題に対処する。
オブジェクトレベルの情報を持つ環境の地図表現を拡張化するための完全なフレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.984393386954219
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper addresses the problem of building augmented metric representations
of scenes with semantic information from RGB-D images. We propose a complete
framework to create an enhanced map representation of the environment with
object-level information to be used in several applications such as human-robot
interaction, assistive robotics, visual navigation, or in manipulation tasks.
Our formulation leverages a CNN-based object detector (Yolo) with a 3D
model-based segmentation technique to perform instance semantic segmentation,
and to localize, identify, and track different classes of objects in the scene.
The tracking and positioning of semantic classes is done with a dictionary of
Kalman filters in order to combine sensor measurements over time and then
providing more accurate maps. The formulation is designed to identify and to
disregard dynamic objects in order to obtain a medium-term invariant map
representation. The proposed method was evaluated with collected and publicly
available RGB-D data sequences acquired in different indoor scenes.
Experimental results show the potential of the technique to produce augmented
semantic maps containing several objects (notably doors). We also provide to
the community a dataset composed of annotated object classes (doors, fire
extinguishers, benches, water fountains) and their positioning, as well as the
source code as ROS packages.
- Abstract(参考訳): 本稿では,RGB-D画像からのセマンティック情報を用いて,シーンのメートル法表現を付加する問題に対処する。
本研究では,人間ロボットインタラクション,ロボット支援,視覚ナビゲーション,操作タスクなど,複数のアプリケーションで使用されるオブジェクトレベルの情報を備えた環境の地図表現を拡張したフレームワークを提案する。
我々の定式化は、CNNベースのオブジェクト検出器(Yolo)と3次元モデルに基づくセグメンテーション技術を利用して、インスタンスセグメンテーションを行い、シーン内のさまざまなオブジェクトのクラスをローカライズ、識別、追跡する。
セマンティッククラスの追跡と位置決めはカルマンフィルタの辞書を用いて行われ、センサ計測を時間とともに組み合わせ、より正確な地図を提供する。
この定式化は、中期不変写像表現を得るために動的対象を識別し無視するように設計されている。
提案手法は,異なる屋内シーンで収集したrgb-dデータシーケンスを用いて評価した。
実験により,複数のオブジェクト(特にドア)を含む拡張意味マップを作成する手法の可能性を示した。
我々はまた、アノテーション付きオブジェクトクラス(ドア、消火器、ベンチ、噴水)とその位置決めとROSパッケージとしてのソースコードからなるデータセットをコミュニティに提供する。
関連論文リスト
- Mapping High-level Semantic Regions in Indoor Environments without
Object Recognition [50.624970503498226]
本研究では,屋内環境における埋め込みナビゲーションによる意味領域マッピング手法を提案する。
地域識別を実現するために,視覚言語モデルを用いて地図作成のためのシーン情報を提供する。
グローバルなフレームにエゴセントリックなシーン理解を投影することにより、提案手法は各場所の可能な領域ラベル上の分布としてのセマンティックマップを生成する。
論文 参考訳(メタデータ) (2024-03-11T18:09:50Z) - Interactive Semantic Map Representation for Skill-based Visual Object
Navigation [43.71312386938849]
本稿では,室内環境との相互作用にともなうシーンセマンティックマップの表現について紹介する。
我々はこの表現をSkillTronと呼ばれる本格的なナビゲーション手法に実装した。
提案手法により,ロボット探索の中間目標とオブジェクトナビゲーションの最終目標の両方を形成できる。
論文 参考訳(メタデータ) (2023-11-07T16:30:12Z) - Object Goal Navigation with Recursive Implicit Maps [92.6347010295396]
対象目標ナビゲーションのための暗黙的な空間マップを提案する。
提案手法は, 挑戦的なMP3Dデータセット上での技量を著しく上回る。
我々は、実際のロボットにモデルをデプロイし、実際のシーンでオブジェクトゴールナビゲーションの結果を奨励する。
論文 参考訳(メタデータ) (2023-08-10T14:21:33Z) - SupeRGB-D: Zero-shot Instance Segmentation in Cluttered Indoor
Environments [67.34330257205525]
本研究では,RGB-Dデータからゼロショットのインスタンスセグメンテーション(ZSIS)を探索し,意味的カテゴリに依存しない方法で未知のオブジェクトを識別する。
本稿では,注釈付きオブジェクトを用いて画素のオブジェクト性」を学習し,乱雑な屋内環境における未知のオブジェクトカテゴリに一般化する手法を提案する。
論文 参考訳(メタデータ) (2022-12-22T17:59:48Z) - Object-level 3D Semantic Mapping using a Network of Smart Edge Sensors [25.393382192511716]
我々は,分散エッジセンサのネットワークとオブジェクトレベルの情報からなる多視点3次元意味マッピングシステムを拡張した。
提案手法は,数cm以内でのポーズ推定と,実験室環境におけるセンサネットワークを用いた実環境実験により,Behaveデータセットを用いて評価した。
論文 参考訳(メタデータ) (2022-11-21T11:13:08Z) - Weakly-Supervised Multi-Granularity Map Learning for Vision-and-Language
Navigation [87.52136927091712]
我々は,ロボットエージェントが言語指導によって記述された経路をたどって,環境の中をナビゲートするよう訓練する,現実的かつ困難な問題に対処する。
高精度かつ効率的なナビゲーションを実現するためには,環境オブジェクトの空間的位置と意味情報の両方を正確に表現した地図を構築することが重要である。
より包括的にオブジェクトを表現するために,オブジェクトの細粒度(色,テクスチャなど)とセマンティッククラスの両方を含む多粒度マップを提案する。
論文 参考訳(メタデータ) (2022-10-14T04:23:27Z) - SOON: Scenario Oriented Object Navigation with Graph-based Exploration [102.74649829684617]
人間のように3Dエンボディ環境のどこからでも言語ガイドされたターゲットに向かって移動する能力は、インテリジェントロボットの「聖杯」目標の1つです。
ほとんどのビジュアルナビゲーションベンチマークは、ステップバイステップの詳細な命令セットに導かれ、固定された出発点から目標に向かって移動することに焦点を当てている。
このアプローチは、人間だけが物体とその周囲がどのように見えるかを説明する現実世界の問題から逸脱し、ロボットにどこからでも航行を依頼する。
論文 参考訳(メタデータ) (2021-03-31T15:01:04Z) - Semantic and Geometric Modeling with Neural Message Passing in 3D Scene
Graphs for Hierarchical Mechanical Search [48.655167907740136]
この問題の階層的,意味的,幾何学的側面を捉えるために,3次元シーングラフ表現を用いる。
自然言語記述で指定された対象物を見つけるためのエージェントの動作を誘導する手法である階層機械探索(HMS)を紹介する。
HMSは、セマンティック関連オブジェクトを格納場所に密配置した500の3Dシーングラフのデータセットで評価されている。
論文 参考訳(メタデータ) (2020-12-07T21:04:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。