論文の概要: Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation

• arxiv url: http://arxiv.org/abs/2406.09798v2
• Date: Thu, 20 Jun 2024 08:13:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-22 01:17:00.185756
• Title: Sim-to-Real Transfer via 3D Feature Fields for Vision-and-Language Navigation
• Title（参考訳）: 視覚・言語ナビゲーションのための3次元特徴場による情報伝達
• Authors: Zihan Wang, Xiangyang Li, Jiahao Yang, Yeqi Liu, Shuqiang Jiang,
• Abstract要約: ヴィジュアル・アンド・ランゲージナビゲーション(VLN)により、エージェントは自然言語の指示に従って3D環境の遠隔地へ移動することができる。 本研究では,パノラマ的トラバーサビリティ認識とパノラマ的セマンティック理解を備えた単分子ロボットを実現するためのシミュレート・トゥ・リアル・トランスファー手法を提案する。 我々のVLNシステムはシミュレーション環境でR2R-CEとRxR-CEのベンチマークにおいて従来のSOTA単分子VLN法よりも優れており、実環境においても検証されている。
• 参考スコア（独自算出の注目度）: 38.04404612393027
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-and-language navigation (VLN) enables the agent to navigate to a remote location in 3D environments following the natural language instruction. In this field, the agent is usually trained and evaluated in the navigation simulators, lacking effective approaches for sim-to-real transfer. The VLN agents with only a monocular camera exhibit extremely limited performance, while the mainstream VLN models trained with panoramic observation, perform better but are difficult to deploy on most monocular robots. For this case, we propose a sim-to-real transfer approach to endow the monocular robots with panoramic traversability perception and panoramic semantic understanding, thus smoothly transferring the high-performance panoramic VLN models to the common monocular robots. In this work, the semantic traversable map is proposed to predict agent-centric navigable waypoints, and the novel view representations of these navigable waypoints are predicted through the 3D feature fields. These methods broaden the limited field of view of the monocular robots and significantly improve navigation performance in the real world. Our VLN system outperforms previous SOTA monocular VLN methods in R2R-CE and RxR-CE benchmarks within the simulation environments and is also validated in real-world environments, providing a practical and high-performance solution for real-world VLN.
• Abstract（参考訳）: ヴィジュアル・アンド・ランゲージナビゲーション(VLN)により、エージェントは自然言語の指示に従って3D環境の遠隔地へ移動することができる。 この分野では、エージェントは通常、ナビゲーションシミュレーターで訓練され、評価され、sim-to-realトランスファーの効果的なアプローチが欠如している。 単眼カメラのみを搭載したVLNエージェントは非常に限られた性能を示し、パノラマ観察で訓練された主流のVLNモデルでは性能が向上するが、ほとんどの単眼ロボットでは展開が困難である。 本稿では,パノラマ性知覚とパノラマ意味理解を両立させたモノクラーロボットを,高速パノラマVLNモデルを共通モノクラーロボットにスムーズに伝達するシミュレート・トゥ・リアル・トランスファー手法を提案する。 本研究では,エージェント中心のナビゲーション可能な経路ポイントを予測するためにセマンティック・トラバーサブル・マップを提案し,これらナビゲーション可能な経路ポイントの新たなビュー表現を3次元特徴場を通して予測する。 これらの手法はモノクラーロボットの視野を狭くし、現実のナビゲーション性能を大幅に向上させる。 我々のVLNシステムは、シミュレーション環境におけるR2R-CEおよびRxR-CEベンチマークにおける従来のSOTA単分子VLN法よりも優れており、実環境においても検証されており、実環境のVLNに対して実用的で高性能なソリューションを提供する。

関連論文リスト

• Human-Aware Vision-and-Language Navigation: Bridging Simulation to Reality with Dynamic Human Interactions [69.9980759344628]
  Vision-and-Language Navigation (VLN)は、人間の指示に基づいてナビゲートするエンボディエージェントを開発することを目的としている。 本稿では,人間の動的活動を取り入れ,従来のVLNを拡張したHuman-Aware Vision-and-Language Navigation (HA-VLN)を紹介する。 本稿では, クロスモーダル融合と多種多様なトレーニング戦略を利用して, エキスパート・スーパーモーダル・クロスモーダル (VLN-CM) と非エキスパート・スーパーモーダル・ディシジョン・トランスフォーマー (VLN-DT) のエージェントを提示する。
  論文  参考訳（メタデータ） (2024-06-27T15:01:42Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Volumetric Environment Representation for Vision-Language Navigation [66.04379819772764]
  視覚言語ナビゲーション(VLN)は、視覚的な観察と自然言語の指示に基づいて、エージェントが3D環境をナビゲートする必要がある。 本研究では,物理世界を3次元構造細胞にボクセル化するボリューム環境表現(VER)を提案する。 VERは3D占有率、3D部屋レイアウト、および3Dバウンディングボックスを共同で予測する。
  論文  参考訳（メタデータ） (2024-03-21T06:14:46Z)
• NavCoT: Boosting LLM-Based Vision-and-Language Navigation via Learning Disentangled Reasoning [101.56342075720588]
  Embodied AIの重要な研究課題であるVision-and-Language Navigation (VLN)は、自然言語の指示に従って複雑な3D環境をナビゲートするために、エンボディエージェントを必要とする。 近年の研究では、ナビゲーションの推論精度と解釈可能性を改善することにより、VLNにおける大きな言語モデル(LLM)の有望な能力を強調している。 本稿では,自己誘導型ナビゲーション決定を実現するために,パラメータ効率の高いドメイン内トレーニングを実現する,Navigational Chain-of-Thought (NavCoT) という新しい戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-12T07:27:02Z)
• Virtual Guidance as a Mid-level Representation for Navigation [8.712750753534532]
  仮想誘導」は視覚的でない命令信号を視覚的に表現するように設計されている。 シミュレーションと実世界の両方の環境で実験を行い,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2023-03-05T17:55:15Z)
• Image-based Navigation in Real-World Environments via Multiple Mid-level Representations: Fusion Models, Benchmark and Efficient Evaluation [13.207579081178716]
  近年の学習に基づくナビゲーション手法では,エージェントのシーン理解とナビゲーション能力が同時に実現されている。 残念ながら、シミュレーターがナビゲーションポリシーを訓練する効率的なツールであるとしても、現実の世界に移動すると、結果のモデルは失敗することが多い。 可能な解決策の1つは、シーンの重要なドメイン不変性を含む中間レベルの視覚表現を備えたナビゲーションモデルを提供することである。
  論文  参考訳（メタデータ） (2022-02-02T15:00:44Z)
• On Embodied Visual Navigation in Real Environments Through Habitat [20.630139085937586]
  ディープラーニングに基づくビジュアルナビゲーションモデルは、大量の視覚的観察に基づいてトレーニングされた場合、効果的なポリシーを学ぶことができる。 この制限に対処するため、仮想環境における視覚ナビゲーションポリシーを効率的に訓練するためのシミュレーションプラットフォームがいくつか提案されている。 本研究では,実世界の航法ピソードを走らせることなく,実世界の観測における航法方針の訓練と評価を効果的に行うことができることを示す。
  論文  参考訳（メタデータ） (2020-10-26T09:19:07Z)
• Transferable Active Grasping and Real Embodied Dataset [48.887567134129306]
  ハンドマウント型RGB-Dカメラを用いて把握可能な視点を探索する方法を示す。 現実的な3段階の移動可能な能動把握パイプラインを開発し、未確認のクラッタシーンに適応する。 本研究のパイプラインでは,カテゴリ非関連行動の把握と確保において,スパース報酬問題を克服するために,新しいマスク誘導報酬を提案する。
  論文  参考訳（メタデータ） (2020-04-28T08:15:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。