論文の概要: Integrating Action Knowledge and LLMs for Task Planning and Situation Handling in Open Worlds

• arxiv url: http://arxiv.org/abs/2305.17590v2
• Date: Thu, 5 Oct 2023 18:05:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 11:52:03.498987
• Title: Integrating Action Knowledge and LLMs for Task Planning and Situation Handling in Open Worlds
• Title（参考訳）: オープンワールドにおけるタスク計画と状況処理のための行動知識とLLMの統合
• Authors: Yan Ding, Xiaohan Zhang, Saeid Amiri, Nieqing Cao, Hao Yang, Andy Kaminski, Chad Esselink, Shiqi Zhang
• Abstract要約: 本稿では,オープンワールドなタスク計画と状況処理のための新しいフレームワークであるCOWPを紹介する。 COWPは、タスク指向のコモンセンス知識によって、動作の前提条件や効果を含む、ロボットの行動知識を動的に増強する。 実験結果から,本手法は,サービスタスクの成功率における文献の競争基準よりも優れていることが示された。
• 参考スコア（独自算出の注目度）: 10.077350377962482
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Task planning systems have been developed to help robots use human knowledge (about actions) to complete long-horizon tasks. Most of them have been developed for "closed worlds" while assuming the robot is provided with complete world knowledge. However, the real world is generally open, and the robots frequently encounter unforeseen situations that can potentially break the planner's completeness. Could we leverage the recent advances on pre-trained Large Language Models (LLMs) to enable classical planning systems to deal with novel situations? This paper introduces a novel framework, called COWP, for open-world task planning and situation handling. COWP dynamically augments the robot's action knowledge, including the preconditions and effects of actions, with task-oriented commonsense knowledge. COWP embraces the openness from LLMs, and is grounded to specific domains via action knowledge. For systematic evaluations, we collected a dataset that includes 1,085 execution-time situations. Each situation corresponds to a state instance wherein a robot is potentially unable to complete a task using a solution that normally works. Experimental results show that our approach outperforms competitive baselines from the literature in the success rate of service tasks. Additionally, we have demonstrated COWP using a mobile manipulator. Supplementary materials are available at: https://cowplanning.github.io/
• Abstract（参考訳）: タスク計画システムは、ロボットが人間の知識(行動に関する)を使って長期のタスクを完了するのを助けるために開発された。 それらの多くは「閉じた世界」のために開発され、ロボットが完全な世界知識を提供すると仮定している。 しかし、現実の世界は一般にオープンであり、ロボットは計画者の完全性を損なう可能性のある予期せぬ状況にしばしば遭遇する。 従来の計画システムが新しい状況に対処できるように、LLM(Large Language Models)の最近の進歩を活用できるだろうか? 本稿では,オープンワールドなタスク計画と状況処理のための新しいフレームワークであるCOWPを紹介する。 COWPは、タスク指向のコモンセンス知識によって、動作の前提条件や効果を含む、ロボットの行動知識を動的に増強する。 COWP は LLM から開放性を受け入れ、アクション知識を通じて特定のドメインに基盤を置いている。 体系的な評価のために,1,085の実行時状況を含むデータセットを収集した。 各状況は、通常動作するソリューションを使用して、ロボットがタスクを完了できない状態のインスタンスに対応する。 実験の結果,我々のアプローチは,サービスタスクの成功率において,文献の競合ベースラインを上回っていることがわかった。 さらに,移動マニピュレータを用いたCOWPの実証を行った。 追加資料は、https://cowplanning.github.io/で入手できる。

関連論文リスト

• $π_0$: A Vision-Language-Action Flow Model for General Robot Control [77.32743739202543]
  本稿では,インターネット規模のセマンティック知識を継承するために,事前学習された視覚言語モデル(VLM)上に構築された新しいフローマッチングアーキテクチャを提案する。 我々は,事前訓練後のタスクをゼロショットで実行し,人からの言語指導に追従し,微調整で新たなスキルを習得する能力の観点から,我々のモデルを評価した。
  論文  参考訳（メタデータ） (2024-10-31T17:22:30Z)
• Grounding Language Models in Autonomous Loco-manipulation Tasks [3.8363685417355557]
  異なるシナリオにおけるタスクに基づいて行動を学び、選択し、計画する新しいフレームワークを提案する。 我々は,大規模言語モデル(LLM)の計画と推論機能を活用し,階層的なタスクグラフを構築する。 CENTAUROロボットを用いたシミュレーションおよび実世界の実験により、言語モデルに基づくプランナーが、新しいロコ操作タスクに効率的に適応できることが示されている。
  論文  参考訳（メタデータ） (2024-09-02T15:27:48Z)
• GRUtopia: Dream General Robots in a City at Scale [65.08318324604116]
  本稿では,各種ロボットを対象とした対話型3D社会「GRUtopia」について紹介する。 GRScenesには100万のインタラクティブな微妙な注釈付きシーンが含まれており、都市規模の環境に自由に組み合わせることができる。 GRResidentsはLarge Language Model (LLM)によって駆動されるNon-Player Character (NPC)システムである。
  論文  参考訳（メタデータ） (2024-07-15T17:40:46Z)
• WorkArena++: Towards Compositional Planning and Reasoning-based Common Knowledge Work Tasks [85.95607119635102]
  大型言語モデル(LLM)は人間のような知性を模倣することができる。 WorkArena++は、Webエージェントの計画、問題解決、論理的/論理的推論、検索、コンテキスト的理解能力を評価するように設計されている。
  論文  参考訳（メタデータ） (2024-07-07T07:15:49Z)
• Interactive Planning Using Large Language Models for Partially Observable Robotics Tasks [54.60571399091711]
  大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。 LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T22:54:44Z)
• Look Before You Leap: Unveiling the Power of GPT-4V in Robotic Vision-Language Planning [32.045840007623276]
  本稿では,ロボットビジョン・ランゲージ計画(ViLa)について紹介する。 ViLaは、知覚データを推論と計画プロセスに直接統合する。 実ロボットとシミュレーション環境の両方で実施した評価は,既存のLCMプランナよりもViLaの方が優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-29T17:46:25Z)
• Robot Task Planning and Situation Handling in Open Worlds [10.077350377962482]
  本稿では,オープンワールドなタスク計画と状況処理のための新しいアルゴリズムを提案する。 COWPはタスク指向の常識でロボットの行動知識を動的に増強する。 このバージョンはAutonomous Robotsに掲載されている。
  論文  参考訳（メタデータ） (2022-10-04T00:21:00Z)
• ProgPrompt: Generating Situated Robot Task Plans using Large Language Models [68.57918965060787]
  大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。 本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
  論文  参考訳（メタデータ） (2022-09-22T20:29:49Z)
• COG: Connecting New Skills to Past Experience with Offline Reinforcement Learning [78.13740204156858]
  我々は、動的プログラミングによって新しいスキルを拡張するために、事前データを再利用できることを示します。 我々は、新しいタスクを解決するために、以前のデータセットに見られるいくつかの動作をチェーンすることで、アプローチの有効性を実証する。 我々は、高次元画像観察を低レベルのロボット制御コマンドにマッピングし、エンドツーエンドでポリシーを訓練する。
  論文  参考訳（メタデータ） (2020-10-27T17:57:29Z)
• iCORPP: Interleaved Commonsense Reasoning and Probabilistic Planning on Robots [46.13039152809055]
  我々はiCORPPと呼ばれる新しいアルゴリズムを提案し、現在の世界状態を同時に推定し、世界ダイナミクスの推論を行い、タスク指向のコントローラを構築する。 結果は、競合するベースラインと比較して、スケーラビリティ、効率、適応性が大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2020-04-18T17:46:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。