論文の概要: CityWalker: Learning Embodied Urban Navigation from Web-Scale Videos
- arxiv url: http://arxiv.org/abs/2411.17820v2
- Date: Thu, 28 Nov 2024 15:49:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-02 11:38:11.250803
- Title: CityWalker: Learning Embodied Urban Navigation from Web-Scale Videos
- Title（参考訳）: CityWalker:Webスケールビデオから都市ナビゲーションを学ぶ
- Authors: Xinhao Liu, Jintong Li, Yicheng Jiang, Niranjan Sujay, Zhicheng Yang, Juexiao Zhang, John Abanes, Jing Zhang, Chen Feng,
- Abstract要約: 我々は,人間のような都市ナビゲーションのためのスケーラブルでデータ駆動型アプローチを提案する。
われわれは何千時間もの間、何千時間もの街を歩きながらウェブから動画を流すエージェントを訓練している。
我々のモデルは、多様な課題や重要なシナリオを扱うために洗練されたナビゲーションポリシーを学びます。
- 参考スコア（独自算出の注目度）: 11.912608309403359
- License:
- Abstract: Navigating dynamic urban environments presents significant challenges for embodied agents, requiring advanced spatial reasoning and adherence to common-sense norms. Despite progress, existing visual navigation methods struggle in map-free or off-street settings, limiting the deployment of autonomous agents like last-mile delivery robots. To overcome these obstacles, we propose a scalable, data-driven approach for human-like urban navigation by training agents on thousands of hours of in-the-wild city walking and driving videos sourced from the web. We introduce a simple and scalable data processing pipeline that extracts action supervision from these videos, enabling large-scale imitation learning without costly annotations. Our model learns sophisticated navigation policies to handle diverse challenges and critical scenarios. Experimental results show that training on large-scale, diverse datasets significantly enhances navigation performance, surpassing current methods. This work shows the potential of using abundant online video data to develop robust navigation policies for embodied agents in dynamic urban settings. Project homepage is at https://ai4ce.github.io/CityWalker/.
- Abstract（参考訳）: ダイナミックな都市環境をナビゲートすることは、高度な空間的推論と常識的規範への固執を必要とする、エンボディードエージェントに重大な課題をもたらす。
進歩にもかかわらず、既存のビジュアルナビゲーション手法はマップレスやオフストリートの設定で苦労しており、ラストマイル配達ロボットのような自律的なエージェントの配置を制限している。
これらの障害を克服するために、我々は、何千時間もの都市を歩きながらウェブから映像を配信する訓練エージェントによる、人間のような都市ナビゲーションのためのスケーラブルでデータ駆動型アプローチを提案する。
我々は,これらのビデオから行動監視を抽出し,コストのかかるアノテーションを使わずに大規模な模倣学習を可能にする,シンプルでスケーラブルなデータ処理パイプラインを導入する。
我々のモデルは、多様な課題や重要なシナリオを扱うために洗練されたナビゲーションポリシーを学びます。
実験の結果,大規模で多様なデータセットのトレーニングはナビゲーション性能を著しく向上させ,現在の手法を超越していることがわかった。
この研究は、豊富なオンラインビデオデータを用いて、ダイナミックな都市環境におけるエンボディエージェントの堅牢なナビゲーションポリシーを開発する可能性を示している。
プロジェクトのホームページはhttps://ai4ce.github.io/CityWalker/にある。
関連論文リスト
- Hyp2Nav: Hyperbolic Planning and Curiosity for Crowd Navigation [58.574464340559466]
我々は,群集ナビゲーションを実現するための双曲学習を提唱し,Hyp2Navを紹介した。
Hyp2Navは双曲幾何学の本質的な性質を活用し、ナビゲーションタスクにおける意思決定プロセスの階層的性質をよりよく符号化する。
本稿では, 効果的なソーシャルナビゲーション, 最高の成功率, 複数シミュレーション設定におけるリターンをもたらす, 双曲型ポリシーモデルと双曲型好奇性モジュールを提案する。
論文 参考訳（メタデータ） (2024-07-18T14:40:33Z) - A Role of Environmental Complexity on Representation Learning in Deep Reinforcement Learning Agents [3.7314353481448337]
我々は、深層強化学習エージェントを訓練するためのシミュレーションナビゲーション環境を開発した。
ショートカットおよびナビゲーションキューへの露出頻度を変調し,異なる能力を有する人工エージェントの開発に繋がった。
これらのエージェントを駆動する人工ニューラルネットワークの符号化表現について検討し、表現学習における複雑なダイナミクスを明らかにした。
論文 参考訳（メタデータ） (2024-07-03T18:27:26Z) - CityNav: Language-Goal Aerial Navigation Dataset with Geographic Information [25.51740922661166]
ビジョン・アンド・ランゲージナビゲーション(VLN)は、視覚的および言語的手がかりを統合することで、現実の環境を通して自律的なエージェントを誘導することを目的としている。
実都市の3次元環境における言語誘導型航法用に明示的に設計された新しいデータセットであるCityNavを紹介する。
CityNavは、新たに開発されたWebベースの3Dシミュレータを通じて収集された、人間の実証軌道と組み合わせた32kの自然言語記述で構成されている。
論文 参考訳（メタデータ） (2024-06-20T12:08:27Z) - Learning Robust Autonomous Navigation and Locomotion for Wheeled-Legged Robots [50.02055068660255]
都市環境のナビゲーションは、ロボットにとってユニークな課題であり、移動とナビゲーションのための革新的なソリューションを必要としている。
本研究は, 適応移動制御, 移動対応ローカルナビゲーション計画, 市内の大規模経路計画を含む, 完全に統合されたシステムを導入する。
モデルフリー強化学習(RL)技術と特権学習を用いて,多目的移動制御系を開発した。
私たちのコントローラーは大規模な都市航法システムに統合され、スイスのチューリッヒとスペインのセビリアで自律的、キロメートル規模の航法ミッションによって検証されます。
論文 参考訳（メタデータ） (2024-05-03T00:29:20Z) - GNM: A General Navigation Model to Drive Any Robot [67.40225397212717]
視覚に基づくナビゲーションのための一般的な目標条件付きモデルは、多くの異なるが構造的に類似したロボットから得られたデータに基づいて訓練することができる。
ロボット間の効率的なデータ共有に必要な設計決定について分析する。
我々は、訓練されたGNMを、下四極子を含む様々な新しいロボットに展開する。
論文 参考訳（メタデータ） (2022-10-07T07:26:41Z) - Learning to Walk by Steering: Perceptive Quadrupedal Locomotion in
Dynamic Environments [25.366480092589022]
四足歩行ロボットは、環境の乱雑さや移動する障害物に応答して、頑丈で機敏な歩行行動を示す必要がある。
本稿では,知覚的移動の問題をハイレベルな意思決定に分解する,PreLUDEという階層型学習フレームワークを提案する。
シミュレーションおよびハードウェア実験において,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2022-09-19T17:55:07Z) - Human-Aware Robot Navigation via Reinforcement Learning with Hindsight
Experience Replay and Curriculum Learning [28.045441768064215]
強化学習アプローチは、シーケンシャルな意思決定問題を解決する優れた能力を示している。
本研究では,実演データを使わずにRLエージェントを訓練する作業を検討する。
密集層における最適なナビゲーションポリシーを効率的に学習するために,後視体験リプレイ(HER)とカリキュラム学習(CL)技術をRLに組み込むことを提案する。
論文 参考訳（メタデータ） (2021-10-09T13:18:11Z) - Augmented reality navigation system for visual prosthesis [67.09251544230744]
反応ナビゲーションと経路計画のソフトウェアを組み込んだ視覚補綴用拡張現実ナビゲーションシステムを提案する。
対象を地図上に配置し、対象の軌道を計画し、対象に示し、障害なく再計画する。
その結果,目標を達成するための時間と距離を減らし,障害物衝突の回数を大幅に減らし,航法性能の向上を図っている。
論文 参考訳（メタデータ） (2021-09-30T09:41:40Z) - Deep Learning for Embodied Vision Navigation: A Survey [108.13766213265069]
身体的視覚ナビゲーション」問題では、エージェントが3D環境をナビゲートする必要がある。
本稿では、総合的な文献調査を提供することで、視覚ナビゲーションの具体的分野における現在の研究の概要を確立することを試みる。
論文 参考訳（メタデータ） (2021-07-07T12:09:04Z) - On Embodied Visual Navigation in Real Environments Through Habitat [20.630139085937586]
ディープラーニングに基づくビジュアルナビゲーションモデルは、大量の視覚的観察に基づいてトレーニングされた場合、効果的なポリシーを学ぶことができる。
この制限に対処するため、仮想環境における視覚ナビゲーションポリシーを効率的に訓練するためのシミュレーションプラットフォームがいくつか提案されている。
本研究では,実世界の航法ピソードを走らせることなく,実世界の観測における航法方針の訓練と評価を効果的に行うことができることを示す。
論文 参考訳（メタデータ） (2020-10-26T09:19:07Z) - Active Visual Information Gathering for Vision-Language Navigation [115.40768457718325]
視覚言語ナビゲーション(VLN)は、エージェントがフォトリアリスティックな環境の中でナビゲーションの指示を行うためのタスクである。
VLNの重要な課題の1つは、曖昧な指示による不確実性を緩和し、環境の観察を不十分にすることで、堅牢なナビゲーションを行う方法である。
この研究は、人間のナビゲーション行動からインスピレーションを得て、よりインテリジェントなVLNポリシーのためのアクティブな情報収集能力を持つエージェントを提供する。
論文 参考訳（メタデータ） (2020-07-15T23:54:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。