論文の概要: Multi-Level Compositional Reasoning for Interactive Instruction Following

• arxiv url: http://arxiv.org/abs/2308.09387v1
• Date: Fri, 18 Aug 2023 08:38:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-21 13:57:32.386696
• Title: Multi-Level Compositional Reasoning for Interactive Instruction Following
• Title（参考訳）: 対話型指導における多レベル合成推論
• Authors: Suvaansh Bhambri, Byeonghwi Kim, Jonghyun Choi
• Abstract要約: 多レベル合成共鳴剤(MCR-Agent) 最上位レベルでは、高レベルポリシー構成制御器による言語命令に基づいて、人間の解釈可能なサブゴールのシーケンスを推測する。 中間レベルでは、ナビゲーションポリシーと様々な独立したインタラクションポリシーを交互に切り替えることで、エージェントのナビゲーションをマスターポリシーで識別的に制御する。 最も低いレベルでは、適切なインタラクションポリシーを用いて、対応するオブジェクトマスクによる操作動作を推論する。
• 参考スコア（独自算出の注目度）: 24.581542880280203
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Robotic agents performing domestic chores by natural language directives are required to master the complex job of navigating environment and interacting with objects in the environments. The tasks given to the agents are often composite thus are challenging as completing them require to reason about multiple subtasks, e.g., bring a cup of coffee. To address the challenge, we propose to divide and conquer it by breaking the task into multiple subgoals and attend to them individually for better navigation and interaction. We call it Multi-level Compositional Reasoning Agent (MCR-Agent). Specifically, we learn a three-level action policy. At the highest level, we infer a sequence of human-interpretable subgoals to be executed based on language instructions by a high-level policy composition controller. At the middle level, we discriminatively control the agent's navigation by a master policy by alternating between a navigation policy and various independent interaction policies. Finally, at the lowest level, we infer manipulation actions with the corresponding object masks using the appropriate interaction policy. Our approach not only generates human interpretable subgoals but also achieves 2.03% absolute gain to comparable state of the arts in the efficiency metric (PLWSR in unseen set) without using rule-based planning or a semantic spatial memory.
• Abstract（参考訳）: 自然言語指示による家庭内雑用を行うロボットエージェントは、環境をナビゲートし、環境内の物体と対話する複雑な仕事をマスターする必要がある。 エージェントに与えられたタスクは複合的であるため、コーヒーのカップなど複数のサブタスクを推論する必要があるため、難しい。 この課題に対処するために,タスクを複数のサブゴールに分割し,より優れたナビゲーションとインタラクションのために個別にそれに参加することを提案する。 これをMCR-Agent(Multi-level compositional Reasoning Agent)と呼ぶ。 具体的には、3段階のアクションポリシーを学びます。 最上位レベルでは、高レベルポリシー構成制御器による言語命令に基づいて、人間の解釈可能なサブゴールのシーケンスを推測する。 中間レベルでは、ナビゲーションポリシーと様々な独立したインタラクションポリシーの交替により、エージェントのナビゲーションをマスターポリシーで識別的に制御する。 最後に、最も低いレベルでは、適切な相互作用ポリシーを用いて対応するオブジェクトマスクとの操作動作を推測する。 我々のアプローチは人間の解釈可能なサブゴールを生成するだけでなく、ルールベースの計画やセマンティック空間記憶を使わずに、効率測定(PLWSR)における同等の芸術状態に対して2.03%の絶対ゲインを達成する。

関連論文リスト

• Human-Object Interaction from Human-Level Instructions [16.70362477046958]
  対象動作,全体動作,指動作を人体レベルで同時に合成できる最初の完全システムを提案する。 実験では,高レベルプランナが多目的物体の現実的相互作用を合成する上で,高レベルな目標レイアウトの生成に有効であることを実証した。
  論文  参考訳（メタデータ） (2024-06-25T17:46:28Z)
• Cooperation, Competition, and Maliciousness: LLM-Stakeholders Interactive Negotiation [52.930183136111864]
  我々は,大言語モデル(LLM)を評価するためにスコーラブルネゴシエーション(scorable negotiations)を提案する。 合意に達するには、エージェントは強力な算術、推論、探索、計画能力を持つ必要がある。 我々は、新しいゲームを作成し、進化するベンチマークを持つことの難しさを増大させる手順を提供する。
  論文  参考訳（メタデータ） (2023-09-29T13:33:06Z)
• LEMMA: Learning Language-Conditioned Multi-Robot Manipulation [21.75163634731677]
  LanguagE-Conditioned Multi-robot Manipulation (LEMMA) LeMMAは、手続き的に生成されるタスクが8種類あり、複雑さは様々である。 それぞれのタスクに対して,800の専門的なデモンストレーションと,トレーニングと評価のためのヒューマンインストラクションを提供します。
  論文  参考訳（メタデータ） (2023-08-02T04:37:07Z)
• Entity Divider with Language Grounding in Multi-Agent Reinforcement Learning [28.619845209653274]
  マルチエージェント設定におけるポリシーの一般化を促進するための自然言語の利用について検討する。 マルチエージェント強化学習, エンティティディバイザ(EnDi)における言語基盤構築のための新しい枠組みを提案する。 EnDiは、エージェントがエンティティレベルで独立してサブゴナル分割を学習し、関連するエンティティに基づいて環境に作用することを可能にする。
  論文  参考訳（メタデータ） (2022-10-25T11:53:52Z)
• ALMA: Hierarchical Learning for Composite Multi-Agent Tasks [21.556661319375255]
  本稿では,構造化タスクを活用可能な汎用学習手法であるALMAを紹介する。 ALMAは高レベルのサブタスク割り当てポリシーと低レベルのエージェントポリシーを同時に学習する。 ALMAは様々な課題のある環境で高度な協調行動を学ぶことを実証する。
  論文  参考訳（メタデータ） (2022-05-27T19:12:23Z)
• Planning to Practice: Efficient Online Fine-Tuning by Composing Goals in Latent Space [76.46113138484947]
  汎用ロボットは、現実世界の非構造環境において困難なタスクを完了するために、多様な行動レパートリーを必要とする。 この問題に対処するため、目標条件強化学習は、コマンド上の幅広いタスクの目標に到達可能なポリシーを取得することを目的としている。 本研究では,長期的課題に対する目標条件付き政策を実践的に訓練する手法であるPlanning to Practiceを提案する。
  論文  参考訳（メタデータ） (2022-05-17T06:58:17Z)
• LDSA: Learning Dynamic Subtask Assignment in Cooperative Multi-Agent Reinforcement Learning [122.47938710284784]
  協調型MARLにおける動的サブタスク代入(LDSA)を学習するための新しいフレームワークを提案する。 エージェントを異なるサブタスクに合理的に割り当てるために,能力に基づくサブタスク選択戦略を提案する。 LDSAは、より優れたコラボレーションのために、合理的で効果的なサブタスクの割り当てを学習していることを示す。
  論文  参考訳（メタデータ） (2022-05-05T10:46:16Z)
• A Persistent Spatial Semantic Representation for High-level Natural Language Instruction Execution [54.385344986265714]
  本稿では,言語行動とロボット行動のギャップを埋めるために,永続的な空間意味表現法を提案する。 一般的なステップバイステップ命令を完全に回避しながら、ALFREDベンチマークに対する我々のアプローチを評価し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-07-12T17:47:19Z)
• Towards Coordinated Robot Motions: End-to-End Learning of Motion Policies on Transform Trees [63.31965375413414]
  人間による実証から構造化政策を学習し、マルチタスクの課題解決を提案します。 我々の構造化ポリシーは、異なる空間におけるサブタスクポリシーを組み合わせるためのフレームワークであるRMPflowにインスパイアされている。 マルチタスク問題に適したエンドツーエンドの学習目標関数を導き出します。
  論文  参考訳（メタデータ） (2020-12-24T22:46:22Z)
• RODE: Learning Roles to Decompose Multi-Agent Tasks [69.56458960841165]
  ロールベースの学習は、ロールを使って複雑なタスクを分解することで、スケーラブルなマルチエージェント学習を実現するという約束を持っている。 本稿では,まず,環境および他のエージェントに対する影響に応じて協調行動空間をクラスタリングすることで,制約された役割行動空間に分解することを提案する。 これらの進歩により、我々の手法は、挑戦的なStarCraft IIマイクロマネジメントベンチマークを構成する14シナリオのうち10シナリオにおいて、現在の最先端のMARLアルゴリズムよりも優れています。
  論文  参考訳（メタデータ） (2020-10-04T09:20:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。