論文の概要: Embodied Instruction Following in Unknown Environments

• arxiv url: http://arxiv.org/abs/2406.11818v1
• Date: Mon, 17 Jun 2024 17:55:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 13:14:13.732508
• Title: Embodied Instruction Following in Unknown Environments
• Title（参考訳）: 未知環境下での身体的教育
• Authors: Zhenyu Wu, Ziwei Wang, Xiuwei Xu, Jiwen Lu, Haibin Yan,
• Abstract要約: 未知環境における複雑なタスクに対するEIF(Embodied instruction following)法を提案する。 我々は,ハイレベルなタスクプランナと低レベルな探索コントローラを含む,階層的な具体化命令に従うフレームワークを構築した。 タスクプランナに対しては、タスク完了プロセスと既知の視覚的手がかりに基づいて、人間の目標達成のための実行可能なステップバイステッププランを生成する。
• 参考スコア（独自算出の注目度）: 66.60163202450954
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Enabling embodied agents to complete complex human instructions from natural language is crucial to autonomous systems in household services. Conventional methods can only accomplish human instructions in the known environment where all interactive objects are provided to the embodied agent, and directly deploying the existing approaches for the unknown environment usually generates infeasible plans that manipulate non-existing objects. On the contrary, we propose an embodied instruction following (EIF) method for complex tasks in the unknown environment, where the agent efficiently explores the unknown environment to generate feasible plans with existing objects to accomplish abstract instructions. Specifically, we build a hierarchical embodied instruction following framework including the high-level task planner and the low-level exploration controller with multimodal large language models. We then construct a semantic representation map of the scene with dynamic region attention to demonstrate the known visual clues, where the goal of task planning and scene exploration is aligned for human instruction. For the task planner, we generate the feasible step-by-step plans for human goal accomplishment according to the task completion process and the known visual clues. For the exploration controller, the optimal navigation or object interaction policy is predicted based on the generated step-wise plans and the known visual clues. The experimental results demonstrate that our method can achieve 45.09% success rate in 204 complex human instructions such as making breakfast and tidying rooms in large house-level scenes.
• Abstract（参考訳）: 自然言語から複雑なヒューマンインストラクションを完遂するために実施されるエンボディエージェントは、家庭サービスにおける自律システムにとって不可欠である。 従来の手法では、すべての対話的オブジェクトがエンボディエージェントに提供される既知の環境でのみ人間の指示を達成でき、未知の環境に対して既存のアプローチを直接展開することは、通常、既存のオブジェクトを操作できないプランを生成する。 そこで,エージェントは未知の環境を効率的に探索し,既存のオブジェクトで実現可能な計画を生成し,抽象的な指示を行う。 具体的には,ハイレベルなタスクプランナとマルチモーダルな大規模言語モデルを用いた低レベル探索コントローラを含む,階層的な具体化命令に従うフレームワークを構築した。 次に,作業計画とシーン探索の目的を人間の指示に合わせることで,シーンの意味表現マップを動的領域の注意で構築し,視覚的手がかりを実証する。 タスクプランナに対しては、タスク完了プロセスと既知の視覚的手がかりに基づいて、人間の目標達成のための実行可能なステップバイステッププランを生成する。 探索コントローラでは、生成したステップワイズ計画と既知の視覚的手がかりに基づいて、最適なナビゲーションまたはオブジェクトインタラクションポリシーを予測する。 実験結果から,大画面の朝食やタイディニングルームなど,複雑な204人の指示で45.09%の成功率を達成できることが示された。

関連論文リスト

• DISCO: Embodied Navigation and Interaction via Differentiable Scene Semantics and Dual-level Control [53.80518003412016]
  人間の命令によって多様なタスクに熟練した汎用的なインテリジェントホームアシストエージェントを構築することは、AI研究の長期的青写真である。 本研究では,具体的エージェントに対する原始的移動操作,すなわち指示された動詞と名詞のペアに基づいて,ナビゲートと対話の仕方について検討する。 本研究では、文脈化されたシーンモデリングと効率的な制御における非自明な進歩を特徴とするdisCOを提案する。
  論文  参考訳（メタデータ） (2024-07-20T05:39:28Z)
• ThinkBot: Embodied Instruction Following with Thought Chain Reasoning [66.09880459084901]
  EIF(Embodied Instruction following)は、複雑な環境下でオブジェクトを相互作用させることで、エージェントが人間の指示を完了させる。 我々は,人間の指導における思考連鎖を原因とした思考ボットを提案し,その不足した行動記述を復元する。 私たちのThinkBotは、成功率と実行効率の両面で、最先端のEIFメソッドよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-12-12T08:30:09Z)
• Embodied Task Planning with Large Language Models [86.63533340293361]
  本研究では,現場制約を考慮した地上計画のための具体的タスクにおけるTAsk Planing Agent (TaPA)を提案する。 推論の際には,オープンボキャブラリオブジェクト検出器を様々な場所で収集された多視点RGB画像に拡張することにより,シーン内の物体を検出する。 実験の結果,我々のTaPAフレームワークから生成されたプランは,LLaVAやGPT-3.5よりも大きなマージンで高い成功率が得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-04T17:58:25Z)
• Structured Exploration Through Instruction Enhancement for Object Navigation [0.0]
  本稿では,オブジェクトナビゲーションのための階層型学習手法を提案する。 トップレベルはハイレベルなプランニングが可能で、フロアプランレベルでメモリを構築することができる。 本研究では,本手法が動的家庭環境に与える影響を実証する。
  論文  参考訳（メタデータ） (2022-11-15T19:39:22Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)
• Long-Horizon Manipulation of Unknown Objects via Task and Motion Planning with Estimated Affordances [26.082034134908785]
  操作可能なオブジェクトの集合に関する事前知識がなくても,タスク・アンド・モーション・プランナが知的行動の計画に利用できることを示す。 この戦略により、単一のシステムが様々な実世界のマルチステップ操作タスクを実行できることを実証する。
  論文  参考訳（メタデータ） (2021-08-09T16:13:47Z)
• A Persistent Spatial Semantic Representation for High-level Natural Language Instruction Execution [54.385344986265714]
  本稿では,言語行動とロボット行動のギャップを埋めるために,永続的な空間意味表現法を提案する。 一般的なステップバイステップ命令を完全に回避しながら、ALFREDベンチマークに対する我々のアプローチを評価し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-07-12T17:47:19Z)
• Are We There Yet? Learning to Localize in Embodied Instruction Following [1.7300690315775575]
  Action Learning From Realistic Environments and Directives (ALFRED)は、この問題に対する最近提案されたベンチマークである。 このタスクの主な課題は、ターゲット位置のローカライズと、視覚的な入力によるナビゲーションである。 ナビゲーションサブゴール中のエージェントの視野を複数の視野角で拡張し、各タイムステップでターゲット位置に対する相対的な空間的関係を予測するようにエージェントを訓練します。
  論文  参考訳（メタデータ） (2021-01-09T21:49:41Z)
• Deep compositional robotic planners that follow natural language commands [21.481360281719006]
  サンプルベースのロボットプランナが、自然言語コマンドのシーケンスを理解するためにどのように拡張できるかを示す。 我々のアプローチは、オブジェクト、動詞、空間関係、属性を含む複雑なコマンドのパースに基づいて構築されたディープネットワークを組み合わせる。
  論文  参考訳（メタデータ） (2020-02-12T19:56:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。