論文の概要: Out of the Box: Embodied Navigation in the Real World

• arxiv url: http://arxiv.org/abs/2105.05873v1
• Date: Wed, 12 May 2021 18:00:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-15 03:26:57.576026
• Title: Out of the Box: Embodied Navigation in the Real World
• Title（参考訳）: 箱から外へ:現実の世界を具体化したナビゲーション
• Authors: Roberto Bigazzi, Federico Landi, Marcella Cornia, Silvia Cascianelli, Lorenzo Baraldi and Rita Cucchiara
• Abstract要約: シミュレーションで得られた知識を現実世界に伝達する方法を示す。 モデルは1台のIntel RealSenseカメラを搭載したLoCoBotにデプロイします。 本実験では,得られたモデルを実世界に展開することで,満足のいく結果が得られることを示した。
• 参考スコア（独自算出の注目度）: 45.97756658635314
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The research field of Embodied AI has witnessed substantial progress in visual navigation and exploration thanks to powerful simulating platforms and the availability of 3D data of indoor and photorealistic environments. These two factors have opened the doors to a new generation of intelligent agents capable of achieving nearly perfect PointGoal Navigation. However, such architectures are commonly trained with millions, if not billions, of frames and tested in simulation. Together with great enthusiasm, these results yield a question: how many researchers will effectively benefit from these advances? In this work, we detail how to transfer the knowledge acquired in simulation into the real world. To that end, we describe the architectural discrepancies that damage the Sim2Real adaptation ability of models trained on the Habitat simulator and propose a novel solution tailored towards the deployment in real-world scenarios. We then deploy our models on a LoCoBot, a Low-Cost Robot equipped with a single Intel RealSense camera. Different from previous work, our testing scene is unavailable to the agent in simulation. The environment is also inaccessible to the agent beforehand, so it cannot count on scene-specific semantic priors. In this way, we reproduce a setting in which a research group (potentially from other fields) needs to employ the agent visual navigation capabilities as-a-Service. Our experiments indicate that it is possible to achieve satisfying results when deploying the obtained model in the real world. Our code and models are available at https://github.com/aimagelab/LoCoNav.
• Abstract（参考訳）: Embodied AIの研究分野は、強力なシミュレーションプラットフォームと、屋内およびフォトリアリスティック環境の3Dデータの提供により、視覚ナビゲーションと探索の大幅な進歩を目撃している。 これらの2つの要因は、ほぼ完璧なポイントゴールナビゲーションを達成できる新しい世代のインテリジェントエージェントへの扉を開いた。 しかし、そのようなアーキテクチャは通常、数十億ではなく数百万のフレームで訓練され、シミュレーションでテストされる。 大きな熱意とともに、これらの結果は、何人の研究者がこれらの進歩から効果的に恩恵を受けるのか? 本研究では,シミュレーションで得られた知識を実世界へ伝達する方法を詳述する。 そこで本研究では,環境シミュレータでトレーニングされたモデルのsim2実適応能力を損なうアーキテクチャ上の不一致について述べるとともに,実世界のシナリオにおける配置を指向した新しいソリューションを提案する。 そして、私たちのモデルを1台のIntel RealSenseカメラを備えたローコストロボットであるLoCoBotにデプロイします。 これまでの作業とは異なり、私たちのテストシーンはシミュレーションでエージェントに利用できません。 環境は事前にエージェントにアクセスできないため、シーン固有のセマンティクスの優先順位はカウントできない。 このようにして、研究グループ(潜在的に他の分野から)がエージェントビジュアルナビゲーション機能をサービスとして利用する必要がある設定を再現する。 本実験は,実世界において得られたモデルをデプロイする場合,満足な結果が得られることを示す。 私たちのコードとモデルはhttps://github.com/aimagelab/loconavで利用可能です。

関連論文リスト

• EmbodiedCity: A Benchmark Platform for Embodied Agent in Real-world City Environment [38.14321677323052]
  身体的人工知能は、エージェントの身体が人間のような行動を引き起こす役割を強調している。 本稿では,実環境におけるインテリジェンス評価のためのベンチマークプラットフォームを構築する。
  論文  参考訳（メタデータ） (2024-10-12T17:49:26Z)
• Learning Interactive Real-World Simulators [96.5991333400566]
  生成モデルを用いて実世界の相互作用の普遍的なシミュレータを学習する可能性について検討する。 シミュレーターを用いて、高レベルな視覚言語ポリシーと低レベルな強化学習ポリシーの両方を訓練する。 ビデオキャプションモデルは、シミュレートされた経験を持つトレーニングの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2023-10-09T19:42:22Z)
• Self-Supervised Object Goal Navigation with In-Situ Finetuning [110.6053241629366]
  この研究は、探検を通じて世界の自己監督モデルを構築するエージェントを構築する。 ObjectNavエージェントのすべてのコンポーネントをトレーニングできる強力なセルフスーパービジョンのソースを特定します。 我々は,エージェントが実世界で競争力を発揮し,シミュレーションを行うことを示す。
  論文  参考訳（メタデータ） (2022-12-09T03:41:40Z)
• Sim-to-Real via Sim-to-Seg: End-to-end Off-road Autonomous Driving Without Real Data [56.49494318285391]
  我々は、オフロード自動運転の視覚的現実的ギャップを横断するRCANを再想像するSim2Segを紹介する。 これは、ランダム化されたシミュレーション画像をシミュレートされたセグメンテーションと深さマップに変換する学習によって行われる。 これにより、シミュレーションでエンドツーエンドのRLポリシーをトレーニングし、現実世界に直接デプロイできます。
  論文  参考訳（メタデータ） (2022-10-25T17:50:36Z)
• NavDreams: Towards Camera-Only RL Navigation Among Humans [35.57943738219839]
  我々は,アタリゲームにおけるモデリングと学習の方針を示す世界モデルの概念が,カメラによるナビゲーション問題にも適用できるかどうかを考察する。 我々は、ロボットが目標を達成するために衝突することなく、静的で動く人間を通り過ぎなければならないシミュレーション環境を作成する。 現状の手法はナビゲーション問題の解決に成功でき、将来の画像系列の夢のような予測を生成することができる。
  論文  参考訳（メタデータ） (2022-03-23T09:46:44Z)
• Image-based Navigation in Real-World Environments via Multiple Mid-level Representations: Fusion Models, Benchmark and Efficient Evaluation [13.207579081178716]
  近年の学習に基づくナビゲーション手法では,エージェントのシーン理解とナビゲーション能力が同時に実現されている。 残念ながら、シミュレーターがナビゲーションポリシーを訓練する効率的なツールであるとしても、現実の世界に移動すると、結果のモデルは失敗することが多い。 可能な解決策の1つは、シーンの重要なドメイン不変性を含む中間レベルの視覚表現を備えたナビゲーションモデルを提供することである。
  論文  参考訳（メタデータ） (2022-02-02T15:00:44Z)
• Sim-to-Real Transfer for Vision-and-Language Navigation [70.86250473583354]
  本研究では,従来は目に見えなかった環境下でロボットを解放し,制約のない自然言語ナビゲーション指示に従うという課題について検討する。 VLN(Vision-and-Language Navigation)の課題に関する最近の研究は、シミュレーションにおいて大きな進歩を遂げている。 ロボット工学における本研究の意義を評価するため,シミュレーションで訓練されたVLNエージェントを物理ロボットに転送する。
  論文  参考訳（メタデータ） (2020-11-07T16:49:04Z)
• Visual Navigation Among Humans with Optimal Control as a Supervisor [72.5188978268463]
  そこで本研究では,学習に基づく知覚とモデルに基づく最適制御を組み合わせることで,人間間をナビゲートする手法を提案する。 私たちのアプローチは、新しいデータ生成ツールであるHumANavによって実現されています。 学習したナビゲーションポリシーは、将来の人間の動きを明示的に予測することなく、人間に予測し、反応できることを実証する。
  論文  参考訳（メタデータ） (2020-03-20T16:13:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。