論文の概要: Hierarchical Language Models for Semantic Navigation and Manipulation in an Aerial-Ground Robotic System

• arxiv url: http://arxiv.org/abs/2506.05020v1
• Date: Thu, 05 Jun 2025 13:27:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.729804
• Title: Hierarchical Language Models for Semantic Navigation and Manipulation in an Aerial-Ground Robotic System
• Title（参考訳）: 空中ロボットシステムにおける意味的ナビゲーションと操作のための階層型言語モデル
• Authors: Haokun Liu, Zhaoqi Ma, Yunong Li, Junichiro Sugihara, Yicheng Chen, Jinjie Li, Moju Zhao,
• Abstract要約: 本稿では,大規模言語モデル (LLM) と微調整型視覚言語モデル (VLM) を統合した階層型フレームワークを提案する。 VLMは,航空画像からタスク特定セマンティックラベルと2次元空間情報を抽出し,地域計画を支援する。 これは、VLMに基づく認識とLLM駆動のタスク推論とモーションプランニングを統合した地上異種システムの最初の実演である。
• 参考スコア（独自算出の注目度）: 7.266794815157721
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Heterogeneous multi-robot systems show great potential in complex tasks requiring coordinated hybrid cooperation. However, traditional approaches relying on static models often struggle with task diversity and dynamic environments. This highlights the need for generalizable intelligence that can bridge high-level reasoning with low-level execution across heterogeneous agents. To address this, we propose a hierarchical framework integrating a prompted Large Language Model (LLM) and a GridMask-enhanced fine-tuned Vision Language Model (VLM). The LLM performs task decomposition and global semantic map construction, while the VLM extracts task-specified semantic labels and 2D spatial information from aerial images to support local planning. Within this framework, the aerial robot follows a globally optimized semantic path and continuously provides bird-view images, guiding the ground robot's local semantic navigation and manipulation, including target-absent scenarios where implicit alignment is maintained. Experiments on a real-world letter-cubes arrangement task demonstrate the framework's adaptability and robustness in dynamic environments. To the best of our knowledge, this is the first demonstration of an aerial-ground heterogeneous system integrating VLM-based perception with LLM-driven task reasoning and motion planning.
• Abstract（参考訳）: 不均一なマルチロボットシステムは、協調的なハイブリッド協調を必要とする複雑なタスクにおいて大きな可能性を示す。 しかしながら、静的モデルに依存する従来のアプローチは、タスクの多様性と動的環境に悩まされることが多い。 これは、異種エージェントにまたがって低レベルの実行で高レベルの推論をブリッジできる一般化可能なインテリジェンスの必要性を強調している。 そこで本稿では,Large Language Model (LLM) と GridMask による微調整型視覚言語モデル (VLM) を統合した階層型フレームワークを提案する。 LLMはタスク分解とグローバルセマンティックマップの構築を行い、VLMはタスク特定セマンティックラベルと2次元空間情報を航空画像から抽出し、ローカルプランニングを支援する。 このフレームワーク内では、航空ロボットはグローバルに最適化されたセマンティックパスに従い、暗黙のアライメントを維持するターゲット・アライメントシナリオを含む、地上ロボットの局所的なセマンティックナビゲーションと操作を導く、鳥視イメージを継続的に提供します。 実世界のレターキューブ配置タスクの実験は、動的環境におけるフレームワークの適応性と堅牢性を示す。 我々の知る限り、VLMに基づく認識とLLMによるタスク推論とモーションプランニングを統合した地上異種システムの最初の実演である。

関連論文リスト

• EmbodiedVSR: Dynamic Scene Graph-Guided Chain-of-Thought Reasoning for Visual Spatial Tasks [24.41705039390567]
  EmbodiedVSR (Embodied Visual Space Reasoning) は動的シーングラフ誘導型Chain-of-Thought (CoT)推論を統合する新しいフレームワークである。 本手法はタスク固有の微調整なしでゼロショット空間推論を可能にする。 実験により,我々のフレームワークは,既存のMLLM法よりも精度と推論コヒーレンスにおいて優れていることが示された。
  論文  参考訳（メタデータ） (2025-03-14T05:06:07Z)
• Navigating Motion Agents in Dynamic and Cluttered Environments through LLM Reasoning [69.5875073447454]
  本稿では,大規模言語モデル(LLM)によって強化された動作エージェントを,動的・乱雑な環境における自律的なナビゲーションに向けて前進させる。 トレーニング不要なフレームワークは、マルチエージェント調整、クローズドループ計画、動的障害物回避を、リトレーニングや微調整なしでサポートしています。
  論文  参考訳（メタデータ） (2025-03-10T13:39:09Z)
• Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
  本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。 この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。 本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
  論文  参考訳（メタデータ） (2024-10-16T19:59:31Z)
• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [69.01029651113386]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、250以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• Towards Open-World Grasping with Large Vision-Language Models [5.317624228510749]
  オープンワールドの把握システムは、高レベルの文脈と低レベルの物理幾何学的推論を組み合わせることができるべきである。 本稿では,視覚言語モデルとセグメンテーションとグルーピング合成モデルを組み合わせたオープンワールドグルーピングパイプラインOWGを提案する。 乱雑な屋内シーンデータセットを用いて,オープンエンド言語を基盤としたOWGのロバスト性を示す。
  論文  参考訳（メタデータ） (2024-06-26T19:42:08Z)
• Cognitive Planning for Object Goal Navigation using Generative AI Models [0.979851640406258]
  本稿では,効率的な探索戦略を生成するオブジェクトゴールナビゲーション問題を解決するための新しいフレームワークを提案する。 我々のアプローチは,Large Language Models (LLMs) とLarge Vision-Language Models (LVLMs) を活用することで,ロボットが慣れない環境をナビゲートすることを可能にする。
  論文  参考訳（メタデータ） (2024-03-30T10:54:59Z)
• Think Global, Act Local: Dual-scale Graph Transformer for Vision-and-Language Navigation [87.03299519917019]
  本稿では,2次元グラフ変換器 (DUET) を提案する。 我々は,グローバルな行動空間における効率的な探索を可能にするために,トポロジカルマップをオンザフライで構築する。 提案手法であるDUETは、目標指向の視覚・言語ナビゲーションベンチマークにおいて最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-02-23T19:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。