論文の概要: Language-Grounded Hierarchical Planning and Execution with Multi-Robot 3D Scene Graphs

• arxiv url: http://arxiv.org/abs/2506.07454v1
• Date: Mon, 09 Jun 2025 06:02:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.820977
• Title: Language-Grounded Hierarchical Planning and Execution with Multi-Robot 3D Scene Graphs
• Title（参考訳）: 言語を囲む階層的計画とマルチロボット3Dシーングラフによる実行
• Authors: Jared Strader, Aaron Ray, Jacob Arkin, Mason B. Peterson, Yun Chang, Nathan Hughes, Christopher Bradley, Yi Xuan Jia, Carlos Nieto-Granda, Rajat Talak, Chuchu Fan, Luca Carlone, Jonathan P. How, Nicholas Roy,
• Abstract要約: マッピング,ローカライゼーション,タスク・アンド・モーション・プランニング(TAMP)を統合したマルチロボットシステムを提案する。 本システムでは,マルチロボット3Dシーングラフの融合に利用されるオープンセットのオブジェクトベースマップを組み込んだ共有3Dシーングラフを構築している。 本研究では,大規模な屋外環境における実環境タスクにおけるシステム性能の実験的評価を行う。
• 参考スコア（独自算出の注目度）: 44.52978937479273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we introduce a multi-robot system that integrates mapping, localization, and task and motion planning (TAMP) enabled by 3D scene graphs to execute complex instructions expressed in natural language. Our system builds a shared 3D scene graph incorporating an open-set object-based map, which is leveraged for multi-robot 3D scene graph fusion. This representation supports real-time, view-invariant relocalization (via the object-based map) and planning (via the 3D scene graph), allowing a team of robots to reason about their surroundings and execute complex tasks. Additionally, we introduce a planning approach that translates operator intent into Planning Domain Definition Language (PDDL) goals using a Large Language Model (LLM) by leveraging context from the shared 3D scene graph and robot capabilities. We provide an experimental assessment of the performance of our system on real-world tasks in large-scale, outdoor environments.
• Abstract（参考訳）: 本稿では,3次元シーングラフが実現し,自然言語で表現された複雑な命令を実行するために,マッピング,ローカライゼーション,タスク・アンド・モーション・プランニング(TAMP)を統合したマルチロボットシステムを提案する。 本システムでは,マルチロボット3Dシーングラフの融合に利用されるオープンセットのオブジェクトベースマップを組み込んだ共有3Dシーングラフを構築している。 この表現は、(オブジェクトベースのマップを介して)リアルタイム、ビュー不変な再ローカライズと(3Dシーングラフを介して)計画をサポートし、ロボットのチームが周囲を推論し、複雑なタスクを実行することができる。 さらに,作業者の意図を大規模言語モデル(LLM)を用いて計画ドメイン定義言語(PDDL)の目標に翻訳する計画手法を提案する。 本研究では,大規模な屋外環境における実環境タスクにおけるシステム性能の実験的評価を行う。

関連論文リスト

• DSM: Building A Diverse Semantic Map for 3D Visual Grounding [4.89669292144966]
  本研究では,3次元視覚接地作業を行うロボットエージェントを対象とした多種多様な意味マップ構築手法を提案する。 本手法は多モード大言語モデル(VLM)を利用してシーン内のオブジェクトの潜在意味的属性と関係を捕捉し,幾何学的スライディングウインドウマップ構築戦略により,DSM(Diverse Semantic Map)を作成する。 実験結果から,本手法はセマンティックセグメンテーションや3次元視覚グラウンディングといったタスクにおける現在の手法よりも優れており,特に,最先端の手法と比較して総合的に優れていることがわかった。
  論文  参考訳（メタデータ） (2025-04-11T07:18:42Z)
• Exploring 3D Activity Reasoning and Planning: From Implicit Human Intentions to Route-Aware Planning [103.24305074625106]
  3Dアクティビティの推論と計画は、暗黙の指示から意図されたアクティビティを推論し、ステップ間ルートでステップに分解し、シーンセグメンテーションからきめ細かい3Dオブジェクトの形状と位置のガイダンスの下で計画する新しい3Dタスクである。 ReasonPlan3Dは、多段階タスク計画、ステップ間経路計画、きめ細かなセグメンテーションのための暗黙的な命令と詳細なアノテーションで、多様な3Dシーンを網羅する大規模なベンチマークである。 大規模な実験は、暗黙の人間の指示による行動の推論、正確な段階的なタスクプランの作成、経路計画のシームレスな統合におけるベンチマークとフレームワークの有効性を実証している。
  論文  参考訳（メタデータ） (2025-03-17T09:33:58Z)
• SUGAR: Pre-training 3D Visual Representations for Robotics [85.55534363501131]
  ロボット工学のための新しい3D事前学習フレームワークSUGARを紹介した。 SUGARは3次元の点雲を通してオブジェクトの意味的、幾何学的、および余分な特性をキャプチャする。 SuGARの3D表現は最先端の2Dおよび3D表現よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-01T21:23:03Z)
• ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning [125.90002884194838]
  ConceptGraphsはオープンな3Dシーン用のグラフ構造化表現である。 2Dファウンデーションモデルを活用し、マルチビューアソシエーションによってアウトプットを3Dに融合することで構築される。 我々は,この表現の有用性を,下流の計画タスクを通じて実証する。
  論文  参考訳（メタデータ） (2023-09-28T17:53:38Z)
• SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Robot Task Planning [15.346150968195015]
  本研究では,3次元シーングラフ(DSG)表現を用いた大規模タスクプランニングのスケーラブルなアプローチであるSayPlanを紹介する。 我々は,最大3フロア,36部屋,140部屋までの大規模な2つの環境に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2023-07-12T12:37:55Z)
• LanguageRefer: Spatial-Language Model for 3D Visual Grounding [72.7618059299306]
  3次元視覚的グラウンドリング問題に対する空間言語モデルを構築した。 本稿では,ReferIt3Dが提案する視覚言語データセットに対して,本モデルが競合的に動作することを示す。
  論文  参考訳（メタデータ） (2021-07-07T18:55:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。