論文の概要: Topological Planning with Transformers for Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2012.05292v1
• Date: Wed, 9 Dec 2020 20:02:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 02:17:55.894311
• Title: Topological Planning with Transformers for Vision-and-Language Navigation
• Title（参考訳）: 視覚・言語ナビゲーションのためのトランスフォーマーによるトポロジカルプランニング
• Authors: Kevin Chen, Junshen K. Chen, Jo Chuang, Marynel V\'azquez, Silvio Savarese
• Abstract要約: トポロジカルマップを用いた視覚・言語ナビゲーション(VLN)のモジュール化手法を提案する。 自然言語指導とトポロジカルマップが与えられた場合,マップ内のナビゲーション計画を予測するために注意機構を利用する。 実験では,従来のエンドツーエンドアプローチを上回り,解釈可能なナビゲーションプランを生成し,バックトラックなどのインテリジェントな行動を示す。
• 参考スコア（独自算出の注目度）: 31.64229792521241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional approaches to vision-and-language navigation (VLN) are trained end-to-end but struggle to perform well in freely traversable environments. Inspired by the robotics community, we propose a modular approach to VLN using topological maps. Given a natural language instruction and topological map, our approach leverages attention mechanisms to predict a navigation plan in the map. The plan is then executed with low-level actions (e.g. forward, rotate) using a robust controller. Experiments show that our method outperforms previous end-to-end approaches, generates interpretable navigation plans, and exhibits intelligent behaviors such as backtracking.
• Abstract（参考訳）: ビジョン・アンド・ランゲージナビゲーション(VLN)への従来のアプローチはエンドツーエンドで訓練されているが、自由に移動可能な環境ではうまく機能しない。 ロボットコミュニティに触発されて,vln のトポロジカルマップを用いたモジュラーアプローチを提案する。 自然言語指導とトポロジカルマップが与えられた場合,マップ内のナビゲーション計画を予測するために注意機構を利用する。 プランは低レベルのアクション(例)で実行される。 前方、回転) 頑丈なコントローラーを使って。 実験により,本手法は従来のエンドツーエンド手法よりも優れ,解釈可能なナビゲーション計画を生成し,バックトラッキングなどのインテリジェントな動作を示す。

関連論文リスト

• PRET: Planning with Directed Fidelity Trajectory for Vision and Language Navigation [30.710806048991923]
  視覚と言語ナビゲーションは、エージェントが自然言語の指示に従ってナビゲートする必要があるタスクである。 近年の手法では、各ステップで構築されたトポロジーマップのサブゴールを予測し、長期的な行動計画を可能にする。 本稿では,指示と指向性軌道のアライメントを考慮し,ナビゲーション計画を容易にする方法を提案する。
  論文  参考訳（メタデータ） (2024-07-16T08:22:18Z)
• MC-GPT: Empowering Vision-and-Language Navigation with Memory Map and Reasoning Chains [4.941781282578696]
  Vision-and-Language Navigation (VLN)タスクでは、エージェントは自然言語の指示に従って目的地に向かう必要がある。 学習ベースのアプローチはタスクに対する主要な解決策だが、高いトレーニングコストと解釈可能性の欠如に悩まされている。 近年、Large Language Models (LLMs) は強力な一般化能力のため、VLNにとって有望なツールとして登場した。
  論文  参考訳（メタデータ） (2024-05-17T08:33:27Z)
• ETPNav: Evolving Topological Planning for Vision-Language Navigation in Continuous Environments [56.194988818341976]
  視覚言語ナビゲーションは、エージェントが環境中をナビゲートするための指示に従う必要があるタスクである。 本研究では,1)環境を抽象化し,長距離航法計画を生成する能力,2)連続環境における障害物回避制御能力の2つの重要なスキルに焦点を当てたETPNavを提案する。 ETPNavは、R2R-CEとRxR-CEデータセットの先行技術よりも10%以上、20%改善されている。
  論文  参考訳（メタデータ） (2023-04-06T13:07:17Z)
• BEVBert: Multimodal Map Pre-training for Language-guided Navigation [75.23388288113817]
  視覚・言語ナビゲーション(VLN)における空間認識型マップベース事前学習パラダイムを提案する。 我々は,グローバルなトポロジカルマップにおけるナビゲーション依存性をモデル化しながら,不完全な観測を明示的に集約し,重複を取り除くための局所距離マップを構築した。 ハイブリッドマップをベースとして,マルチモーダルマップ表現を学習するための事前学習フレームワークを考案し,空間認識型クロスモーダル推論を強化し,言語誘導ナビゲーションの目標を導出する。
  論文  参考訳（メタデータ） (2022-12-08T16:27:54Z)
• Cross-modal Map Learning for Vision and Language Navigation [82.04247028482244]
  VLN(Vision-and-Language Navigation)の問題点について考察する。 他の研究とは対照的に、我々の重要な洞察は、言語と視覚の関連性は、明示的な空間表現で起こるときに強くなるということである。 視覚・言語ナビゲーションのためのクロスモーダルマップ学習モデルを提案する。このモデルでは,まず,観測領域と観測対象領域の両方に対して,エゴセントリックマップ上のトップダウンセマンティクスを予測することを学習する。
  論文  参考訳（メタデータ） (2022-03-10T03:30:12Z)
• Find a Way Forward: a Language-Guided Semantic Map Navigator [53.69229615952205]
  本稿では,新たな視点で言語誘導ナビゲーションの問題に対処する。 ロボットが自然言語の指示を実行し、地図観測に基づいて目標位置へ移動できるようにする。 提案手法は特に長距離ナビゲーションの場合において顕著な性能向上をもたらす。
  論文  参考訳（メタデータ） (2022-03-07T07:40:33Z)
• Think Global, Act Local: Dual-scale Graph Transformer for Vision-and-Language Navigation [87.03299519917019]
  本稿では,2次元グラフ変換器 (DUET) を提案する。 我々は,グローバルな行動空間における効率的な探索を可能にするために,トポロジカルマップをオンザフライで構築する。 提案手法であるDUETは、目標指向の視覚・言語ナビゲーションベンチマークにおいて最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-02-23T19:06:53Z)
• ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints [94.60414567852536]
  長距離航法には、計画と局所的な移動可能性の推論の両方が必要である。 学習と計画を統合する学習に基づくアプローチを提案する。 ViKiNGは、画像ベースの学習コントローラを利用できる。
  論文  参考訳（メタデータ） (2022-02-23T02:14:23Z)
• Lifelong Topological Visual Navigation [16.41858724205884]
  本稿では,生涯ナビゲーション性能を時間とともに向上させるグラフ更新戦略を用いた学習型ビジュアルナビゲーション手法を提案する。 画像に基づくトポロジグラフを構築するためのサンプリングベースの計画アルゴリズムから着想を得た結果,スペーサーグラフはベースライン法に比べてナビゲーション性能が高い。 固定的なトレーニング環境から学習するコントローラとは異なり、ロボットが配置される実環境から比較的小さなデータセットを使ってモデルを微調整できることが示される。
  論文  参考訳（メタデータ） (2021-10-16T06:16:14Z)
• High-Level Plan for Behavioral Robot Navigation with Natural Language Directions and R-NET [6.47137925955334]
  我々は,経路を表す行動列をポインタネットワークが生成できるように,行動ナビゲーショングラフの理解を深める。 ナビゲーショングラフデータセットのテストでは、我々のモデルは既知の環境と未知の環境の両方において最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2020-01-08T01:14:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。