論文の概要: Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural Language Instructions

• arxiv url: http://arxiv.org/abs/2211.00688v1
• Date: Tue, 1 Nov 2022 18:30:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-03 12:07:28.294728
• Title: Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural Language Instructions
• Title（参考訳）: ピクセルと自然言語命令から具体化されたタスクを構築するボクセルの解法を学ぶ
• Authors: Alexey Skrynnik, Zoya Volovikova, Marc-Alexandre C\^ot\'e, Anton Voronov, Artem Zholus, Negar Arabzadeh, Shrestha Mohanty, Milagro Teruel, Ahmed Awadallah, Aleksandr Panov, Mikhail Burtsev, Julia Kiseleva
• Abstract要約: 本研究では,Minecraftのような環境下でのオブジェクト構築作業において,言語モデルと強化学習を組み合わせた新しい手法を提案する。 提案手法は,まず命令から一貫した達成可能なサブゴールのセットを生成し,学習済みのRLポリシーで関連するサブタスクを完了させる。
• 参考スコア（独自算出の注目度）: 53.21504989297547
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adoption of pre-trained language models to generate action plans for embodied agents is a promising research strategy. However, execution of instructions in real or simulated environments requires verification of the feasibility of actions as well as their relevance to the completion of a goal. We propose a new method that combines a language model and reinforcement learning for the task of building objects in a Minecraft-like environment according to the natural language instructions. Our method first generates a set of consistently achievable sub-goals from the instructions and then completes associated sub-tasks with a pre-trained RL policy. The proposed method formed the RL baseline at the IGLU 2022 competition.
• Abstract（参考訳）: エージェントのアクションプランを生成するための事前学習言語モデルの導入は、有望な研究戦略である。 しかし、実環境やシミュレーション環境での命令の実行には、アクションの実行可能性の検証と目標の完了との関連が必要である。 本稿では,自然言語命令に従ってマインクラフト型環境におけるオブジェクト構築作業において,言語モデルと強化学習を組み合わせた新しい手法を提案する。 提案手法はまず命令から一貫した達成可能なサブゴールのセットを生成し,学習済みのRLポリシーで関連するサブタスクを完了させる。 提案手法はiglu 2022コンペティションにおいてrlベースラインを形成した。

関連論文リスト

• Instruction Following with Goal-Conditioned Reinforcement Learning in Virtual Environments [42.06453257292203]
  本稿では,大規模言語モデルの深い言語理解と強化学習エージェントの適応行動実行能力を組み合わせた階層型フレームワークを提案する。 IGLUではエージェントが構造を構築するように指示され、Crafterではエージェントがタスクを実行し、言語コマンドに従って周辺環境のオブジェクトと対話する。
  論文  参考訳（メタデータ） (2024-07-12T14:19:36Z)
• Natural Language as Policies: Reasoning for Coordinate-Level Embodied Control with LLMs [7.746160514029531]
  ロボットのタスク計画問題に対処するLLMによる実験結果を示す。 提案手法はタスクとシーンオブジェクトのテキスト記述を取得し,自然言語推論によるタスクプランニングを定式化する。 提案手法はマルチモーダル・プロンプト・シミュレーション・ベンチマークを用いて評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:58:12Z)
• DECIDER: A Dual-System Rule-Controllable Decoding Framework for Language Generation [57.07295906718989]
  制約付き復号法は,事前学習言語モデル(PLM)が生成するテキストの意味やスタイルを,推論中に特定のターゲット語を用いて制御することを目的としている。 我々は, PLM を制御するためのタスクの完了方法に関するルールをプログラムできる新しい復号化フレームワーク DECIDER を提案する。
  論文  参考訳（メタデータ） (2024-03-04T11:49:08Z)
• Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
  言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。 以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。 本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
  論文  参考訳（メタデータ） (2022-06-06T22:09:52Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents [111.33545170562337]
  自然言語で表現された高レベルなタスクを、選択された実行可能なステップのセットに基底付ける可能性について検討する。 事前学習したLMが十分に大きく、適切に誘導された場合、ハイレベルなタスクを効果的に低レベルな計画に分解できることがわかった。 本稿では,既存の実演の条件を規定し,計画が許容可能な行動に意味的に変換される手順を提案する。
  論文  参考訳（メタデータ） (2022-01-18T18:59:45Z)
• Skill Induction and Planning with Latent Language [94.55783888325165]
  我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。 本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。 訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
  論文  参考訳（メタデータ） (2021-10-04T15:36:32Z)
• Grounding Language to Autonomously-Acquired Skills via Goal Generation [23.327749767424567]
  言語条件付きRLに対する新しい概念的アプローチ:LGB(Language-Goal-Behavior Architecture)を提案する。 LGBは、世界の中間的な意味表現を通じて、スキル学習と言語基盤を分離する。 本稿では,物体間の空間的関係を記述した本質的な意味表現を具現化した,本質的な動機づけ型学習エージェントDECSTRを提案する。
  論文  参考訳（メタデータ） (2020-06-12T13:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。