論文の概要: From Language to Navigation Goals: A Vision-Language Approach for Semantic Navigation of Mobile Robots Using RGB-D Perception

• arxiv url: http://arxiv.org/abs/2607.13624v1
• Date: Wed, 15 Jul 2026 09:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.717502
• Title: From Language to Navigation Goals: A Vision-Language Approach for Semantic Navigation of Mobile Robots Using RGB-D Perception
• Title（参考訳）: 言語からナビゲーション目標:RGB-D知覚を用いた移動ロボットのセマンティックナビゲーションのための視覚言語アプローチ
• Abstract要約: 本研究は,移動ロボットによる自然言語によるユーザ要求の解釈を可能にする,言語駆動ナビゲーションフレームワークを提案する。 このフレームワークは、自然言語命令をナビゲーションアクションに変換するために協力するモジュール型のROS 2コンポーネントで構成されている。 その結果、フレームワークは直接コマンドとコンテキスト要求の両方をうまく解釈し、有意義な自然言語フィードバックを生成し、所望の目標に向かってナビゲートすることがわかった。
• 参考スコア（独自算出の注目度）: 42.903763223989536
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Natural language interaction provides an intuitive way for non-expert users to communicate with robotic platforms. However, transforming user requests into executable navigation actions remains a challenging task, requiring the integration of language understanding, environment perception, and autonomous navigation. This work presents a language-driven navigation framework that enables mobile robots to interpret user requests in natural language to move the robot to a destination and autonomously navigate towards it. The framework is composed of modular ROS 2 components that cooperate to transform natural language instructions into navigation actions. Given a natural language request referring to a target in the environment (e.g., "go to the mail box"), the system identifies the referenced object, estimates its position using RGB-D data, and generates a navigation goal, which is then executed through the ROS 2 Nav2 navigation stack. The ROS 2-based implementation facilitates portability across different robotic platforms, requiring only the configuration of the corresponding topics and services. The system is evaluated in both simulation and real-world scenarios using a TurtleBot3 Waffle and a Unitree Go2 robot with a RealSense camera. Experimental results show that the framework successfully interprets both direct commands and contextual requests, generates meaningful natural-language feedback, and navigates towards the desired target. These results demonstrate the feasibility of combining semantic perception and autonomous navigation to provide an intuitive human-robot interaction paradigm. Code will be released as open source upon acceptance.
• Abstract（参考訳）: 自然言語のインタラクションは、非専門家のユーザがロボットプラットフォームと通信するための直感的な方法を提供する。 しかし、ユーザ要求を実行可能なナビゲーションアクションに変換することは依然として困難な作業であり、言語理解、環境認識、自律ナビゲーションの統合が必要である。 この研究は、移動ロボットが自然言語でユーザ要求を解釈し、ロボットを目的地に移動させ、それに向けて自律的にナビゲートすることを可能にする、言語駆動ナビゲーションフレームワークを提供する。 このフレームワークは、自然言語命令をナビゲーションアクションに変換するために協力するモジュール型のROS 2コンポーネントで構成されている。 環境中のターゲット(例えば「メールボックスに行く」など)を参照する自然言語要求が与えられた場合、システムは参照対象を特定し、RGB-Dデータを用いてその位置を推定し、ナビゲーションゴールを生成し、ROS 2 Nav2ナビゲーションスタックを介して実行される。 ROS 2ベースの実装は、異なるロボットプラットフォーム間のポータビリティを促進し、対応するトピックやサービスの設定のみを必要とする。 このシステムは、TurtleBot3 WaffleとRealSenseカメラを搭載したUnitree Go2ロボットを用いて、シミュレーションと実世界のシナリオの両方で評価される。 実験の結果,フレームワークは直接命令と文脈要求の両方をうまく解釈し,有意義な自然言語フィードバックを生成し,所望の目標に向かってナビゲートすることがわかった。 これらの結果は、意味認識と自律ナビゲーションを組み合わせることで、直感的な人間とロボットのインタラクションパラダイムを実現する可能性を示している。 コードは受け入れられるとオープンソースとしてリリースされる。

関連論文リスト

• ImagiNav: Scalable Embodied Navigation via Generative Visual Prediction and Inverse Dynamics [13.382453086651019]
  Vision-Language Navigationは、高価なエンボディメント固有のロボットデータに基づいて訓練されたエンドツーエンドのポリシーに依存している。 ロボットの動作から視覚計画を切り離す新しいモジュラーパラダイムであるImagiNavを提案する。 ImagiNavは、ロボットのデモを必要とせずに、ロボットナビゲーションへの強力なゼロショット転送をデモする。
  論文  参考訳（メタデータ） (2026-03-14T08:34:02Z)
• AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
  視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。 無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。 本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
  論文  参考訳（メタデータ） (2026-02-10T11:08:07Z)
• Interpretable Robot Control via Structured Behavior Trees and Large Language Models [0.14990005092937678]
  本稿では,自然言語理解とロボット実行を橋渡しする新しい枠組みを提案する。 提案手法は実世界のシナリオでは実用的であり、平均的な認識と実行の精度は約94%である。
  論文  参考訳（メタデータ） (2025-08-13T08:53:13Z)
• Air-Ground Collaboration for Language-Specified Missions in Unknown Environments [62.56917065429864]
  本稿では,無人航空機 (UAV) と無人地上機 (UGV) が,自然言語で指定されたミッションを協調的に達成できる,第一種システムを提案する。 我々は、Large Language Model(LLM)対応プランナーを利用して、オンライン上に構築され、航空ロボットと地上ロボットの間で機会的に共有されるセマンティック・メトリック・マップを推論する。
  論文  参考訳（メタデータ） (2025-05-14T03:33:46Z)
• Co-NavGPT: Multi-Robot Cooperative Visual Semantic Navigation Using Vision Language Models [8.668211481067457]
  Co-NavGPTは、ビジョン言語モデル(VLM)をグローバルプランナーとして統合する新しいフレームワークである。 Co-NavGPTは、多様な視点を持つ複数のロボットのサブマップを統一されたグローバルマップに集約する。 VLMはこの情報を使って、ロボット全体のフロンティアを割り当て、協調的で効率的な探索を容易にする。
  論文  参考訳（メタデータ） (2023-10-11T23:17:43Z)
• LangNav: Language as a Perceptual Representation for Navigation [63.90602960822604]
  視覚・言語ナビゲーション(VLN)における知覚表現としての言語の利用について検討する。 提案手法では,画像キャプションや物体検出に市販の視覚システムを用いて,エージェントのエゴセントリックなパノラマビューを各ステップで自然言語記述に変換する。
  論文  参考訳（メタデータ） (2023-10-11T20:52:30Z)
• CorNav: Autonomous Agent with Self-Corrected Planning for Zero-Shot Vision-and-Language Navigation [73.78984332354636]
  CorNavは視覚・言語ナビゲーションのための新しいゼロショットフレームワークである。 将来の計画の見直しや行動調整のための環境フィードバックが組み込まれている。 ゼロショットマルチタスク設定ですべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-06-17T11:44:04Z)
• Gesture2Path: Imitation Learning for Gesture-aware Navigation [54.570943577423094]
  Gesture2Pathは、画像に基づく模倣学習とモデル予測制御を組み合わせた新しいソーシャルナビゲーション手法である。 実際のロボットに本手法をデプロイし,4つのジェスチャーナビゲーションシナリオに対するアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2022-09-19T23:05:36Z)
• LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action [76.71101507291473]
  本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。 本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
  論文  参考訳（メタデータ） (2022-07-10T10:41:50Z)
• The RobotSlang Benchmark: Dialog-guided Robot Localization and Navigation [35.0500437688086]
  本稿では,ロボットを制御する人間ドライバーと,ナビゲーション目標へのガイダンスを提供する人間コマンドとの間の169の自然言語ダイアログのベンチマークを示す。 それぞれのトライアルでは、まずロボットがコマンドに見えるグローバルマップ上でローカライズされ、次にドライバーはコマンドに従ってロボットを対象のオブジェクトのシーケンスに移動させる。 NDHタスクの初期モデルを示し、シミュレーションで訓練されたエージェントが、物理ロボットプラットフォームを制御するためのRobotSlangダイアログベースのナビゲーション指示に従うことができることを示す。
  論文  参考訳（メタデータ） (2020-10-23T19:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。