論文の概要: Grounding Complex Natural Language Commands for Temporal Tasks in Unseen Environments

• arxiv url: http://arxiv.org/abs/2302.11649v2
• Date: Tue, 17 Oct 2023 18:21:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-19 20:52:41.700263
• Title: Grounding Complex Natural Language Commands for Temporal Tasks in Unseen Environments
• Title（参考訳）: 目に見えない環境における時間課題のための複雑な自然言語コマンド
• Abstract要約: Lang2LTLは、大規模な言語モデルを利用して、事前の言語データを持たない環境の仕様に時間的ナビゲーションコマンドを基盤とするモジュールシステムである。 都市規模21の環境において,Lang2LTLのナビゲーションコマンドを多種多様な時間的仕様に設定できることを実証する。
• 参考スコア（独自算出の注目度）: 21.05763924114676
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grounding navigational commands to linear temporal logic (LTL) leverages its unambiguous semantics for reasoning about long-horizon tasks and verifying the satisfaction of temporal constraints. Existing approaches require training data from the specific environment and landmarks that will be used in natural language to understand commands in those environments. We propose Lang2LTL, a modular system and a software package that leverages large language models (LLMs) to ground temporal navigational commands to LTL specifications in environments without prior language data. We comprehensively evaluate Lang2LTL for five well-defined generalization behaviors. Lang2LTL demonstrates the state-of-the-art ability of a single model to ground navigational commands to diverse temporal specifications in 21 city-scaled environments. Finally, we demonstrate a physical robot using Lang2LTL can follow 52 semantically diverse navigational commands in two indoor environments.
• Abstract（参考訳）: リニア時間論理(LTL)へのナビゲーションコマンドの接地は、その曖昧なセマンティクスを活用して、時間的制約の満足度を検証する。 既存のアプローチでは、これらの環境におけるコマンドを理解するために、自然言語で使用される特定の環境とランドマークからのトレーニングデータが必要です。 本稿では,Lang2LTLを提案する。Lang2LTLは,大規模言語モデル(LLM)を利用して,事前の言語データを持たない環境において,LTL仕様に時間的ナビゲーションコマンドを付加するソフトウェアパッケージである。 我々は,ラング2ltlを5つの well-defined generalization behavior に対して包括的に評価する。 Lang2LTLは、21の都市規模環境において、ナビゲーションコマンドを多様な時間仕様にグラウンドする単一モデルの最先端能力を示す。 最後に,Lang2LTLを用いた物理ロボットは,2つの屋内環境において52種類の意味的に多様なナビゲーションコマンドに従うことができることを示す。

関連論文リスト

• ViTL: Temporal Logic-Guided Zero-Shot Natural Language Navigation via Vision-Language Models [7.354500239997416]
  ロボットが自然言語コマンドを追従し、ゼロショットのロングホライゾンタスクを完了するためのフレームワークであるViTLを提案する。 ナビゲーションレベルでは、視野全体にわたって方向に依存しない値を生成するのではなく、方向スコアを導入する。 Habitat-Matterport 3Dの実験では、自然言語ナビゲーションタスクのゼロショット長水平補完を可能にする完全なフレームワークが示されている。
  論文  参考訳（メタデータ） (2026-06-29T02:22:31Z)
• From Language to Logic: A Theoretical Architecture for VLM-Grounded Safe Navigation [0.0]
  本研究では,自律型ロボットナビゲーションに高レベルかつ人為的な安全ルールと,操作者によるセマンティックな嗜好を組み込むアーキテクチャを提案する。 永続的で環境中心のルールと地形の嗜好は2次元のコストマップに基礎を置いている。 本研究では,STLに符号化された仕様とソフトオペレータの嗜好を満たすための図形ナビゲーションモデルを構築した。
  論文  参考訳（メタデータ） (2026-05-05T22:16:26Z)
• Spatio-Temporal Grounding of Large Language Models from Perception Streams [3.426888015461207]
  本稿では,検証可能な時間的監督を大規模言語モデルに注入するFESTS(Formally Explainable Scenes)を紹介する。 27kで3ビリオンレベルのモデルを訓練すると、フレームサイズは桁違いに88.5%に向上し、複雑な時間的推論において GPT-4.1 と一致する。
  論文  参考訳（メタデータ） (2026-04-08T20:49:50Z)
• SignNav: Leveraging Signage for Semantic Visual Navigation in Large-Scale Indoor Environments [57.79171900005793]
  人間は、大規模屋内環境内の目的地に向かうために、手話によって提供される意味的ヒントを日常的に活用する。 本稿では,手話からの意味的ヒントを解釈し,現在の観察に基づくその後の行動の推論を行うための,新しい具体的ナビゲーションタスクSignNavを紹介する。 空間認識モジュールは物理的世界へのサインの意味的ヒントを基盤として,時間認識モジュールは歴史的状態と現在の観測との長距離依存性を捉えている。
  論文  参考訳（メタデータ） (2026-03-17T06:36:26Z)
• ST4VLA: Spatially Guided Training for Vision-Language-Action Models [80.35847468618276]
  大規模視覚言語モデル(VLM)はマルチモーダル理解において優れるが、具体化されたタスクに拡張されると不足する。 本稿では,動作学習と空間的先行時間との整合性を実現するための2元系ビジョン・ランゲージ・アクション・フレームワークST4VLAを紹介する。 ST4VLAは、Google Robotでは66.1 -> 84.6、WidowX Robotでは54.7 -> 73.2、バニラVLAよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2026-02-10T18:59:17Z)
• Breaking Down and Building Up: Mixture of Skill-Based Vision-and-Language Navigation Agents [43.5771856761934]
  VLN(Vision-and-Language Navigation)は、自然言語命令を解釈し、複雑な3D環境をナビゲートするエージェントにとって大きな課題となる。 トランスフォーマーベースのVLNエージェントに構造化されたスキルベースの推論を導入するモジュラーフレームワークであるSkillNavを提案する。
  論文  参考訳（メタデータ） (2025-08-11T05:50:30Z)
• LangNavBench: Evaluation of Natural Language Understanding in Semantic Navigation [18.951580080771432]
  LangNavは、異なるレベルの詳細で記述されたオブジェクトを見つけるエージェントの能力をテストするために特別に作成された、オープンセットのデータセットである。 LangNavBenchを使えば、属性、空間的およびリレーショナルなキュー、およびカテゴリ階層の処理に関するモデルを体系的に比較することができます。 MLFMはクエリ可能な多層セマンティックマップを構築する方法である。
  論文  参考訳（メタデータ） (2025-07-09T21:46:43Z)
• NavRAG: Generating User Demand Instructions for Embodied Navigation through Retrieval-Augmented LLM [55.79954652783797]
  VLN(Vision-and-Language Navigation)は、エージェントを具現化するための重要なスキルであり、自然言語の指示に従って3D環境をナビゲートすることができる。 従来の方法では、トラジェクトリ動画をステップバイステップでデータ拡張の指示に変換するが、そのような指示はユーザの通信スタイルとうまく一致しない。 本稿では,VLNのユーザ要求命令を生成する検索拡張生成フレームワークであるNavRAGを提案する。
  論文  参考訳（メタデータ） (2025-02-16T14:17:36Z)
• Nl2Hltl2Plan: Scaling Up Natural Language Understanding for Multi-Robots Through Hierarchical Temporal Logic Task Representation [8.180994118420053]
  Nl2Hltl2Planは自然言語コマンドを階層線形時間論理(LTL)に変換するフレームワーク まず、LLMは命令を階層的なタスクツリーに変換し、論理的および時間的関係をキャプチャする。 次に、微調整されたLLMは、サブタスクをフラットな公式に変換し、階層的な仕様に集約する。
  論文  参考訳（メタデータ） (2024-08-15T14:46:13Z)
• From LLMs to Actions: Latent Codes as Bridges in Hierarchical Robot Control [58.72492647570062]
  我々は,制限を克服する代替アーキテクチャとして,Learningable Latent Codes as Bridges (LCB)を導入した。 methodoutperforms baselines that leverage pure language as the interface layer on tasks that requires reasoning and multi-step behaviors。
  論文  参考訳（メタデータ） (2024-05-08T04:14:06Z)
• Vision and Language Navigation in the Real World via Online Visual Language Mapping [18.769171505280127]
  視覚・言語ナビゲーション(VLN)法は主にシミュレーションで評価される。 実世界のVLN課題に対処する新しい枠組みを提案する。 未確認実験環境において,Interbotix LoCoBot WX250を用いたパイプラインの評価を行った。
  論文  参考訳（メタデータ） (2023-10-16T20:44:09Z)
• SayNav: Grounding Large Language Models for Dynamic Planning to Navigation in New Environments [14.179677726976056]
  SayNavは、Large Language Models(LLM)からの人間の知識を活用して、複雑なナビゲーションタスクを効率的に一般化する新しいアプローチである。 SayNavは最先端の結果を達成し、成功率の点で強烈な地道的な仮定でオラクルベースのベースラインを8%以上上回ります。
  論文  参考訳（メタデータ） (2023-09-08T02:24:37Z)
• $A^2$Nav: Action-Aware Zero-Shot Robot Navigation by Exploiting Vision-and-Language Ability of Foundation Models [89.64729024399634]
  本研究では,ゼロショット視覚言語ナビゲーション(ZS-VLN)の課題について検討する。 通常、命令は複雑な文法構造を持ち、しばしば様々な行動記述を含む。 これらのアクション要求を正しく理解し実行する方法は重要な問題であり、アノテーション付きデータがないため、さらに困難になる。
  論文  参考訳（メタデータ） (2023-08-15T19:01:19Z)
• VELMA: Verbalization Embodiment of LLM Agents for Vision and Language Navigation in Street View [81.58612867186633]
  視覚と言語ナビゲーション(VLN)は、視覚的および自然言語の理解と空間的および時間的推論能力を必要とする。 VELMAは,2つのコンテキスト内例のみを用いて,ストリートビューでのナビゲーション指示に従うことができることを示す。 数千の例でLLMエージェントをさらに微調整し、従来の2つのデータセットのタスク完了に対する25%-30%の相対的な改善を実現した。
  論文  参考訳（メタデータ） (2023-07-12T11:08:24Z)
• Data-Efficient Learning of Natural Language to Linear Temporal Logic Translators for Robot Task Specification [6.091096843566857]
  本稿では、自然言語コマンドから、人間ラベルの訓練データに制限のある仕様への変換を学習ベースで行う手法を提案する。 これは、人間のラベル付きデータセットを必要とする既存の自然言語から翻訳者への変換とは対照的である。 自然言語コマンドを75%の精度で翻訳できることを示す。
  論文  参考訳（メタデータ） (2023-03-09T00:09:58Z)
• LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action [76.71101507291473]
  本稿では,無注釈の大規模軌跡データに対するトレーニングの恩恵を享受するロボットナビゲーションシステムLM-Navを提案する。 本研究では,ナビゲーション(ViNG),画像言語アソシエーション(CLIP),言語モデリング(GPT-3)の事前学習モデルから構築可能なシステムについて述べる。
  論文  参考訳（メタデータ） (2022-07-10T10:41:50Z)
• FILM: Following Instructions in Language with Modular Methods [109.73082108379936]
  近年のインボディード・インストラクションの手法は、模倣学習を用いてエンド・ツー・エンドで訓練されている。 本稿では,シーンのセマンティックマップを構築し,セマンティック検索ポリシーを用いて探索を行う構造化表現を用いたモジュラー手法を提案する。 以上の結果から,空間記憶の明示と意味探索の方針が,状態追跡とガイダンスのためのより強固で汎用的な表現を提供する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-10-12T16:40:01Z)
• Generalizing to New Domains by Mapping Natural Language to Lifted LTL [20.58567011476273]
  本稿では、ひとつの肯定的なタスク仕様例から学習可能な、中間的コンテキストクエリ表現を提案する。 我々は、自然言語を翻訳できる最先端のCopyNetモデルと比較する。 シミュレーションされたOO-MDP環境において,提案手法の出力を計画に利用できることを実証した。
  論文  参考訳（メタデータ） (2021-10-11T20:49:26Z)
• Environment-agnostic Multitask Learning for Natural Language Grounded Navigation [88.69873520186017]
  本稿では,視覚言語ナビゲーション(VLN)タスクと対話履歴からのナビゲーション(NDH)タスクをシームレスにトレーニングできるマルチタスクナビゲーションモデルを提案する。 実験により、環境に依存しないマルチタスク学習は、目に見える環境と目に見えない環境の間のパフォーマンスギャップを著しく減少させることが示された。
  論文  参考訳（メタデータ） (2020-03-01T09:06:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。