論文の概要: Visual Semantic Navigation with Real Robots

• arxiv url: http://arxiv.org/abs/2311.16623v1
• Date: Tue, 28 Nov 2023 09:24:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 19:09:39.273703
• Title: Visual Semantic Navigation with Real Robots
• Title（参考訳）: 実ロボットを用いた視覚意味ナビゲーション
• Authors: Carlos Guti\'errez-\'Alvarez, Pablo R\'ios-Navarro, Rafael Flor-Rodr\'iguez, Francisco Javier Acevedo-Rodr\'iguez, Roberto J. L\'opez-Sastre
• Abstract要約: ビジュアルセマンティックナビゲーション(VSN)は、ロボットが見えない環境でナビゲートするための視覚意味情報を学ぶ能力である。 実ロボットにVSNモデルを組み込む新たなソリューションを提案する。 また,VSN 用の新しい ROS ベースのフレームワーク ROS4VSN をリリースし,任意の VSN モデルを ROS 互換ロボットに容易にデプロイし,実環境でテストできるようにした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual Semantic Navigation (VSN) is the ability of a robot to learn visual semantic information for navigating in unseen environments. These VSN models are typically tested in those virtual environments where they are trained, mainly using reinforcement learning based approaches. Therefore, we do not yet have an in-depth analysis of how these models would behave in the real world. In this work, we propose a new solution to integrate VSN models into real robots, so that we have true embodied agents. We also release a novel ROS-based framework for VSN, ROS4VSN, so that any VSN-model can be easily deployed in any ROS-compatible robot and tested in a real setting. Our experiments with two different robots, where we have embedded two state-of-the-art VSN agents, confirm that there is a noticeable performance difference of these VSN solutions when tested in real-world and simulation environments. We hope that this research will endeavor to provide a foundation for addressing this consequential issue, with the ultimate aim of advancing the performance and efficiency of embodied agents within authentic real-world scenarios. Code to reproduce all our experiments can be found at https://github.com/gramuah/ros4vsn.
• Abstract（参考訳）: ビジュアルセマンティックナビゲーション(VSN)は、ロボットが見えない環境でナビゲートするための視覚意味情報を学ぶ能力である。 これらのVSNモデルは、トレーニング対象の仮想環境において、主に強化学習に基づくアプローチを使用してテストされる。 したがって、これらのモデルが現実世界でどのように振る舞うかに関する詳細な分析はまだありません。 そこで本研究では,VSNモデルを実ロボットに組み込む新しい手法を提案する。 また,VSN 用の新しい ROS ベースのフレームワーク ROS4VSN をリリースし,任意の VSN モデルを ROS 互換ロボットに容易にデプロイし,実環境でテストできるようにした。 実環境とシミュレーション環境において,2つのVSNエージェントを組み込んだ2つの異なるロボットを用いた実験により,これらのVSNソリューションに顕著な性能差があることが確認された。 我々は,本研究が,実世界の現実シナリオにおけるエンボディエージェントの性能と効率の向上を究極的に目的とし,この課題に対処するための基盤を提供することを期待している。 すべての実験を再現するコードは、https://github.com/gramuah/ros4vsnで確認できます。

関連論文リスト

• Polaris: Open-ended Interactive Robotic Manipulation via Syn2Real Visual Grounding and Large Language Models [53.22792173053473]
  我々はPolarisという対話型ロボット操作フレームワークを紹介した。 ポラリスはGPT-4と接地された視覚モデルを利用して知覚と相互作用を統合する。 本稿では,Syn2Real(Synthetic-to-Real)ポーズ推定パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-15T06:40:38Z)
• LLARVA: Vision-Action Instruction Tuning Enhances Robot Learning [50.99807031490589]
  LLARVAは,ロボット学習タスク,シナリオ,環境を統一するための,新しい指導指導法で訓練されたモデルである。 我々は,Open X-Embodimentデータセットから8.5Mの画像-視覚的トレースペアを生成し,モデルを事前学習する。 実験によって強い性能が得られ、LLARVAは現代のいくつかのベースラインと比較してよく機能することを示した。
  論文  参考訳（メタデータ） (2024-06-17T17:55:29Z)
• NeuPAN: Direct Point Robot Navigation with End-to-End Model-based Learning [67.53972459080437]
  本稿では,リアルタイム,高精度,ロボットに依存しない,環境に適応しないロボットナビゲーションソリューションであるNeuPANについて述べる。 NeuPANは密結合の知覚移動フレームワークを活用し、既存のアプローチと比較して2つの重要なイノベーションを持っている。 我々は,車載ロボット,車輪脚ロボット,乗用車において,実環境と実環境の両方でNeuPANを評価した。
  論文  参考訳（メタデータ） (2024-03-11T15:44:38Z)
• NoMaD: Goal Masked Diffusion Policies for Navigation and Exploration [57.15811390835294]
  本稿では,目標指向ナビゲーションと目標非依存探索の両方を扱うために,単一の統合拡散政策をトレーニングする方法について述べる。 この統一された政策は、新しい環境における目標を視覚的に示す際に、全体的な性能が向上することを示す。 実世界の移動ロボットプラットフォーム上で実施した実験は,5つの代替手法と比較して,見えない環境における効果的なナビゲーションを示す。
  論文  参考訳（メタデータ） (2023-10-11T21:07:14Z)
• RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control [140.48218261864153]
  本研究では,インターネット規模のデータに基づいて学習した視覚言語モデルを,エンドツーエンドのロボット制御に直接組み込む方法について検討する。 提案手法は,インターネット規模のトレーニングから,RT-2による創発的能力の獲得を可能にした。
  論文  参考訳（メタデータ） (2023-07-28T21:18:02Z)
• Out of the Box: Embodied Navigation in the Real World [45.97756658635314]
  シミュレーションで得られた知識を現実世界に伝達する方法を示す。 モデルは1台のIntel RealSenseカメラを搭載したLoCoBotにデプロイします。 本実験では,得られたモデルを実世界に展開することで,満足のいく結果が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-12T18:00:14Z)
• NavRep: Unsupervised Representations for Reinforcement Learning of Robot Navigation in Dynamic Human Environments [28.530962677406627]
  2つのエンドツーエンドと18の教師なし学習ベースのアーキテクチャをトレーニングし、それらと既存のアプローチを未認識のテストケースで比較します。 その結果,教師なし学習手法はエンドツーエンドの手法と競合することがわかった。 このリリースには、他の論文で記述されたトレーニング条件をエミュレートするように設計されたopenai-gym互換環境も含まれている。
  論文  参考訳（メタデータ） (2020-12-08T12:51:14Z)
• Diagnosing the Environment Bias in Vision-and-Language Navigation [102.02103792590076]
  VLN(Vision-and-Language Navigation)は、エージェントが自然言語の指示に従い、与えられた環境を探索し、所望の目標地点に到達する必要がある。 VLNを研究する最近の研究は、目に見えない環境でのテストでは、顕著なパフォーマンス低下を観察しており、ニューラルエージェントモデルがトレーニング環境に非常に偏っていることを示している。 本研究では, この環境バイアスの原因を探るため, 環境再分割と機能置換による新しい診断実験を設計する。
  論文  参考訳（メタデータ） (2020-05-06T19:24:33Z)
• CAZSL: Zero-Shot Regression for Pushing Models by Generalizing Through Context [13.217582954907234]
  本研究では、文脈認識モデルを構築することにより、物理世界のモデルを一般化できるディープラーニングエージェントを設計する問題について検討する。 本稿では、文脈対応ゼロショット学習(CAZSL)モデル、シームズネットワークを利用したアプローチ、埋め込み空間、文脈変数に基づく正規化を提案する。 提案した学習アルゴリズムを最近リリースされたOmnipushデータセット上でテストし、メタ学習機能のテストを可能にした。
  論文  参考訳（メタデータ） (2020-03-26T01:21:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。