論文の概要: Navigation with VLM framework: Towards Going to Any Language

• arxiv url: http://arxiv.org/abs/2410.02787v2
• Date: Tue, 28 Oct 2025 02:45:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-29 17:50:19.944846
• Title: Navigation with VLM framework: Towards Going to Any Language
• Title（参考訳）: VLMフレームワークによるナビゲーション: あらゆる言語への道
• Authors: Zecheng Yin, Chonghao Cheng, and Yao Guo, Zhen Li,
• Abstract要約: 視覚言語モデル(VLM)は、言語データと視覚データの両方で推論できる顕著な能力を示している。 本稿では,オープンソースのVLMを活用したトレーニングフリーフレームワークであるNavigation with VLM(NavVLM)を紹介し,ロボットが効果的にナビゲートできるようにする。
• 参考スコア（独自算出の注目度）: 4.368039454973151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Navigating towards fully open language goals and exploring open scenes in an intelligent way have always raised significant challenges. Recently, Vision Language Models (VLMs) have demonstrated remarkable capabilities to reason with both language and visual data. Although many works have focused on leveraging VLMs for navigation in open scenes, they often require high computational cost, rely on object-centric approaches, or depend on environmental priors in detailed human instructions. We introduce Navigation with VLM (NavVLM), a training-free framework that harnesses open-source VLMs to enable robots to navigate effectively, even for human-friendly language goal such as abstract places, actions, or specific objects in open scenes. NavVLM leverages the VLM as its cognitive core to perceive environmental information and constantly provides exploration guidance achieving intelligent navigation with only a neat target rather than a detailed instruction with environment prior. We evaluated and validated NavVLM in both simulation and real-world experiments. In simulation, our framework achieves state-of-the-art performance in Success weighted by Path Length (SPL) on object-specifc tasks in richly detailed environments from Matterport 3D (MP3D), Habitat Matterport 3D (HM3D) and Gibson. With navigation episode reported, NavVLM demonstrates the capabilities to navigate towards any open-set languages. In real-world validation, we validated our framework's effectiveness in real-world robot at indoor scene.
• Abstract（参考訳）: 完全にオープンな言語目標に向かってナビゲートし、インテリジェントな方法でオープンなシーンを探索することは、常に大きな課題を提起してきた。 近年,視覚言語モデル (VLM) は言語データと視覚データの両方を推論する顕著な能力を示した。 オープンシーンでのナビゲーションにVLMを活用することに多くの研究が注がれているが、高い計算コスト、オブジェクト中心のアプローチ、あるいは詳細な人間の指示による環境優先に依存している場合が多い。 オープンシーンにおける抽象的な場所や行動,特定のオブジェクトといった,人間フレンドリな言語目標に対しても,オープンソースのVLMを活用するトレーニングフリーフレームワークであるNavigation with VLM(NavVLM)を紹介した。 NavVLMは、VLMを認知コアとして利用して環境情報を認識し、環境に関する詳細な指示ではなく、適切なターゲットで知的ナビゲーションを達成するための探索ガイダンスを常に提供している。 シミュレーションと実世界の実験でNavVLMを評価し,評価した。 シミュレーションでは,Materport 3D(MP3D),Habitat Matterport 3D(HM3D),Gibson(Gibson)など,多種多様な環境において,Path Length(SPL)によって重み付けされたSuccessの最先端性能を実現する。 NavVLMはナビゲーションエピソードを報告し、任意のオープンセット言語にナビゲートする機能を示している。 実世界検証において,屋内シーンにおける実世界ロボットにおけるフレームワークの有効性を検証した。

関連論文リスト

• OpenNav: Open-World Navigation with Multimodal Large Language Models [8.41361699991122]
  大型言語モデル(LLM)は強力な常識推論能力を示しており、ロボットナビゲーションと計画タスクを約束している。 ロボットが複雑な言語命令を解釈して分解し、最終的には一連の軌跡を合成して、多様なナビゲーションタスクを完備化することを目指している。 室内および屋外の両方のシーンにおいて,ハスキーロボットを用いたシステムの有効性を検証し,実世界のロバスト性と適用性を示す。
  論文  参考訳（メタデータ） (2025-07-24T02:05:28Z)
• History-Augmented Vision-Language Models for Frontier-Based Zero-Shot Object Navigation [5.343932820859596]
  本稿では、動的履歴認識プロンプトの利用を先駆する新しいゼロショットObjectNavフレームワークを提案する。 私たちの中心となるイノベーションは、VLMにアクション履歴コンテキストを提供し、ナビゲーションアクションのセマンティックガイダンススコアを生成することです。 また、検出対象に対する最終アプローチを洗練するためのVLM支援のウェイポイント生成機構も導入する。
  論文  参考訳（メタデータ） (2025-06-19T21:50:16Z)
• Grounded Vision-Language Navigation for UAVs with Open-Vocabulary Goal Understanding [1.280979348722635]
  ビジョン・アンド・ランゲージナビゲーション(VLN)は、自律ロボット工学における長年にわたる課題であり、複雑な環境をナビゲートしながら、エージェントに人間の指示に従う能力を与えることを目的としている。 本研究では,無人航空機(UAV)に適した言語誘導飛行を行うフレームワークであるビジョン・ランゲージ・フライ(VLFly)を提案する。
  論文  参考訳（メタデータ） (2025-06-12T14:40:50Z)
• NavRAG: Generating User Demand Instructions for Embodied Navigation through Retrieval-Augmented LLM [55.79954652783797]
  VLN(Vision-and-Language Navigation)は、エージェントを具現化するための重要なスキルであり、自然言語の指示に従って3D環境をナビゲートすることができる。 従来の方法では、トラジェクトリ動画をステップバイステップでデータ拡張の指示に変換するが、そのような指示はユーザの通信スタイルとうまく一致しない。 本稿では,VLNのユーザ要求命令を生成する検索拡張生成フレームワークであるNavRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T14:17:36Z)
• TopV-Nav: Unlocking the Top-View Spatial Reasoning Potential of MLLM for Zero-shot Object Navigation [52.422619828854984]
  MLLMをベースとしたTopV-Navを提案する。 MLLMの空間推論能力をトップビューで完全に解き放つために,適応型視覚プロンプト生成法(AVPG)を提案する。
  論文  参考訳（メタデータ） (2024-11-25T14:27:55Z)
• DivScene: Benchmarking LVLMs for Object Navigation with Diverse Scenes and Objects [84.73092715537364]
  本稿では,多数のシーンタイプにおいて,多様な対象物にナビゲートする新たな課題について検討する。 我々は、模倣学習によりLVLM(Large Vision Language Model)を微調整することにより、エンドツーエンドのエンボディエージェントであるNatVLMを構築した。 我々のエージェントは、GPT-4oを超える成功率を20%以上達成する。
  論文  参考訳（メタデータ） (2024-10-03T17:49:28Z)
• Open-Nav: Exploring Zero-Shot Vision-and-Language Navigation in Continuous Environment with Open-Source LLMs [41.90732562248243]
  VLN(Vision-and-Language Navigation)タスクは、エージェントが3D環境をナビゲートするためのテキスト命令に従う必要がある。 近年の手法では,VLNタスクをゼロショットで解くために,LLM(Crowd-source large language model)を用いている。 我々は、連続環境におけるゼロショットVLNのためのオープンソースのLLMを探求する新しい研究であるOpen-Navを紹介する。
  論文  参考訳（メタデータ） (2024-09-27T14:47:18Z)
• HM3D-OVON: A Dataset and Benchmark for Open-Vocabulary Object Goal Navigation [39.54854283833085]
  Habitat-Matterport 3D Open Vocabulary Object Goal Navigation データセット(HM3D-OVON)を提案する。 HM3D-OVONは、379の異なるカテゴリにわたる15k以上の注釈付きオブジェクトのインスタンスを組み込んでいる。 我々は,HM3D-OVONを用いて,オープン語彙のObjectNavエージェントを訓練し,高い性能を実現し,最先端のObjectNavアプローチよりもローカライゼーションやアクティベーションノイズに頑健であることを確認した。
  論文  参考訳（メタデータ） (2024-09-22T02:12:29Z)
• Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs [95.8010627763483]
  モビリティVLAは、環境理解と長文VLMの常識推論能力を組み合わせた、階層的なビジョン・ランゲージ・アクション(VLA)ナビゲーションポリシーである。 従来未解決であったマルチモーダル命令に対して,モビリティVLAはエンドツーエンドの成功率が高いことを示す。
  論文  参考訳（メタデータ） (2024-07-10T15:49:07Z)
• VLFM: Vision-Language Frontier Maps for Zero-Shot Semantic Navigation [36.31724466541213]
  ゼロショットナビゲーションアプローチであるビジョンランゲージフロンティアマップ(VLFM)を導入する。 VLFMは人間の推論にインスパイアされ、新しい環境における見えないセマンティックなオブジェクトにナビゲートするように設計されている。 我々は,ギブソン,ハビタット・マテルポート3D (HM3D) およびマターポート3D (MP3D) のシミュレータを用いて,写真実写環境における VLFM の評価を行った。
  論文  参考訳（メタデータ） (2023-12-06T04:02:28Z)
• SayNav: Grounding Large Language Models for Dynamic Planning to Navigation in New Environments [14.179677726976056]
  SayNavは、Large Language Models(LLM)からの人間の知識を活用して、複雑なナビゲーションタスクを効率的に一般化する新しいアプローチである。 SayNavは最先端の結果を達成し、成功率の点で強烈な地道的な仮定でオラクルベースのベースラインを8%以上上回ります。
  論文  参考訳（メタデータ） (2023-09-08T02:24:37Z)
• ESC: Exploration with Soft Commonsense Constraints for Zero-shot Object Navigation [75.13546386761153]
  我々は,新しいゼロショットオブジェクトナビゲーション手法であるExploration with Soft Commonsense constraints (ESC)を提案する。 ESCは、事前訓練されたモデルのコモンセンス知識を、ナビゲーション経験のないオープンワールドオブジェクトナビゲーションに転送する。 MP3D, HM3D, RoboTHORのベンチマーク実験により, ESC法はベースラインよりも大幅に改善されていることがわかった。
  論文  参考訳（メタデータ） (2023-01-30T18:37:32Z)
• AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments [60.98664330268192]
  AVLEN(Audio-Visual-Language Embodied Navigationの対話型エージェント)を提案する。 AVLENの目標は、3Dビジュアルワールドをナビゲートすることでオーディオイベントをローカライズすることである。 これらの能力を実現するために、AVLENはマルチモーダル階層的な強化学習バックボーンを使用する。
  論文  参考訳（メタデータ） (2022-10-14T16:35:06Z)
• LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action [76.71101507291473]
  本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。 本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
  論文  参考訳（メタデータ） (2022-07-10T10:41:50Z)
• Structured Scene Memory for Vision-Language Navigation [155.63025602722712]
  視覚言語ナビゲーション(VLN)のための重要なアーキテクチャを提案する。 ナビゲーション中に知覚を正確に記憶できるほど区画化されている。 また、環境内の視覚的および幾何学的な手がかりを捉え、取り除く、構造化されたシーン表現としても機能する。
  論文  参考訳（メタデータ） (2021-03-05T03:41:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。