論文の概要: Virtual Guidance as a Mid-level Representation for Navigation

• arxiv url: http://arxiv.org/abs/2303.02731v2
• Date: Sun, 17 Sep 2023 12:47:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 00:41:04.816076
• Title: Virtual Guidance as a Mid-level Representation for Navigation
• Title（参考訳）: ナビゲーションの中間レベル表現としての仮想ガイダンス
• Authors: Hsuan-Kung Yang, Tsung-Chih Chiang, Ting-Ru Liu, Chun-Wei Huang, Jou-Min Liu, Chun-Yi Lee
• Abstract要約: 仮想誘導」は視覚的でない命令信号を視覚的に表現するように設計されている。 シミュレーションと実世界の両方の環境で実験を行い,提案手法の評価を行った。
• 参考スコア（独自算出の注目度）: 8.712750753534532
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the context of autonomous navigation, effectively conveying abstract navigational cues to agents in dynamic environments poses challenges, particularly when the navigation information is multimodal. To address this issue, the paper introduces a novel technique termed "Virtual Guidance," which is designed to visually represent non-visual instructional signals. These visual cues, rendered as colored paths or spheres, are overlaid onto the agent's camera view, serving as easily comprehensible navigational instructions. We evaluate our proposed method through experiments in both simulated and real-world settings. In the simulated environments, our virtual guidance outperforms baseline hybrid approaches in several metrics, including adherence to planned routes and obstacle avoidance. Furthermore, we extend the concept of virtual guidance to transform text-prompt-based instructions into a visually intuitive format for real-world experiments. Our results validate the adaptability of virtual guidance and its efficacy in enabling policy transfer from simulated scenarios to real-world ones.
• Abstract（参考訳）: 自律ナビゲーションの文脈では、動的環境のエージェントに抽象的なナビゲーションキューを効果的に伝達することは、特にナビゲーション情報がマルチモーダルである場合、課題を引き起こす。 この問題に対処するために,非視覚的指示信号の視覚的表現を目的とした「仮想誘導」と呼ばれる新しい手法を提案する。 これらの視覚的な手がかりは、色付きパスまたは球面として表現され、エージェントのカメラビューにオーバーレイされ、容易に理解可能なナビゲーション指示として機能する。 本手法はシミュレーションと実環境における実験を通して評価する。 シミュレーション環境では,仮想ガイダンスは,計画経路の順守や障害物回避など,ベースラインハイブリッドアプローチよりも優れている。 さらに,実世界実験のために,テキスト入力に基づく命令を視覚的に直感的な形式に変換するための仮想指導の概念を拡張する。 本研究は,仮想ガイダンスの適応性とその効果を検証し,シミュレーションシナリオから実世界へのポリシー移行を可能にする。

関連論文リスト

• Flex: End-to-End Text-Instructed Visual Navigation with Foundation Models [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly-lexically) で合成され,VLM(Vision Language Models) をフリーズしたパッチワイド特徴抽出器として利用するフレームワークである。 本研究では,本手法が4段階のフライ・トゥ・ターゲットタスクにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• IN-Sight: Interactive Navigation through Sight [20.184155117341497]
  IN-Sightは自己監督型パスプランニングの新しいアプローチである。 可逆性のスコアを計算し、セマンティックマップに組み込む。 障害物を正確に回避するために、IN-Sightはローカルプランナーを使用している。
  論文  参考訳（メタデータ） (2024-08-01T07:27:54Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Robust Navigation with Cross-Modal Fusion and Knowledge Transfer [16.529923581195753]
  移動ロボットの一般化に関する問題点を考察する。 一般化のためのクロスモーダル融合法と知識伝達フレームワークを提案する。 教師の行動と表現を模倣することにより、学生はノイズの多いマルチモーダル入力から特徴を調整できる。
  論文  参考訳（メタデータ） (2023-09-23T05:16:35Z)
• Learning Navigational Visual Representations with Semantic Map Supervision [85.91625020847358]
  エージェントの自我中心のビューとセマンティックマップを対比してナビゲーション固有の視覚表現学習法を提案する。 Ego$2$-Map学習は、オブジェクト、構造、遷移などのコンパクトでリッチな情報を、ナビゲーションのためのエージェントのエゴセントリックな表現に転送する。
  論文  参考訳（メタデータ） (2023-07-23T14:01:05Z)
• Navigating to Objects in the Real World [76.1517654037993]
  本稿では,古典的,モジュール的,エンド・ツー・エンドの学習手法と比較した,意味的視覚ナビゲーション手法に関する大規模な実証的研究について述べる。 モジュラー学習は実世界ではうまく機能し、90%の成功率に達しています。 対照的に、エンド・ツー・エンドの学習は、シミュレーションと現実の間の画像領域の差が大きいため、77%のシミュレーションから23%の実際の成功率へと低下する。
  論文  参考訳（メタデータ） (2022-12-02T01:10:47Z)
• Image-based Navigation in Real-World Environments via Multiple Mid-level Representations: Fusion Models, Benchmark and Efficient Evaluation [13.207579081178716]
  近年の学習に基づくナビゲーション手法では,エージェントのシーン理解とナビゲーション能力が同時に実現されている。 残念ながら、シミュレーターがナビゲーションポリシーを訓練する効率的なツールであるとしても、現実の世界に移動すると、結果のモデルは失敗することが多い。 可能な解決策の1つは、シーンの重要なドメイン不変性を含む中間レベルの視覚表現を備えたナビゲーションモデルを提供することである。
  論文  参考訳（メタデータ） (2022-02-02T15:00:44Z)
• ViNG: Learning Open-World Navigation with Visual Goals [82.84193221280216]
  視覚的目標達成のための学習に基づくナビゲーションシステムを提案する。 提案手法は,我々がvingと呼ぶシステムが,目標条件強化学習のための提案手法を上回っていることを示す。 我々は、ラストマイル配送や倉庫検査など、現実の多くのアプリケーションでViNGを実演する。
  論文  参考訳（メタデータ） (2020-12-17T18:22:32Z)
• Unsupervised Domain Adaptation for Visual Navigation [115.85181329193092]
  視覚ナビゲーションのための教師なし領域適応手法を提案する。 本手法では,対象領域の画像をソース領域に変換し,ナビゲーションポリシで学習した表現と一致するようにする。
  論文  参考訳（メタデータ） (2020-10-27T18:22:43Z)
• On Embodied Visual Navigation in Real Environments Through Habitat [20.630139085937586]
  ディープラーニングに基づくビジュアルナビゲーションモデルは、大量の視覚的観察に基づいてトレーニングされた場合、効果的なポリシーを学ぶことができる。 この制限に対処するため、仮想環境における視覚ナビゲーションポリシーを効率的に訓練するためのシミュレーションプラットフォームがいくつか提案されている。 本研究では,実世界の航法ピソードを走らせることなく,実世界の観測における航法方針の訓練と評価を効果的に行うことができることを示す。
  論文  参考訳（メタデータ） (2020-10-26T09:19:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。