論文の概要: Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural
Language Instructions
- arxiv url: http://arxiv.org/abs/2211.00688v1
- Date: Tue, 1 Nov 2022 18:30:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 12:07:28.294728
- Title: Learning to Solve Voxel Building Embodied Tasks from Pixels and Natural
Language Instructions
- Title(参考訳): ピクセルと自然言語命令から具体化されたタスクを構築するボクセルの解法を学ぶ
- Authors: Alexey Skrynnik, Zoya Volovikova, Marc-Alexandre C\^ot\'e, Anton
Voronov, Artem Zholus, Negar Arabzadeh, Shrestha Mohanty, Milagro Teruel,
Ahmed Awadallah, Aleksandr Panov, Mikhail Burtsev, Julia Kiseleva
- Abstract要約: 本研究では,Minecraftのような環境下でのオブジェクト構築作業において,言語モデルと強化学習を組み合わせた新しい手法を提案する。
提案手法は,まず命令から一貫した達成可能なサブゴールのセットを生成し,学習済みのRLポリシーで関連するサブタスクを完了させる。
- 参考スコア(独自算出の注目度): 53.21504989297547
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The adoption of pre-trained language models to generate action plans for
embodied agents is a promising research strategy. However, execution of
instructions in real or simulated environments requires verification of the
feasibility of actions as well as their relevance to the completion of a goal.
We propose a new method that combines a language model and reinforcement
learning for the task of building objects in a Minecraft-like environment
according to the natural language instructions. Our method first generates a
set of consistently achievable sub-goals from the instructions and then
completes associated sub-tasks with a pre-trained RL policy. The proposed
method formed the RL baseline at the IGLU 2022 competition.
- Abstract(参考訳): エージェントのアクションプランを生成するための事前学習言語モデルの導入は、有望な研究戦略である。
しかし、実環境やシミュレーション環境での命令の実行には、アクションの実行可能性の検証と目標の完了との関連が必要である。
本稿では,自然言語命令に従ってマインクラフト型環境におけるオブジェクト構築作業において,言語モデルと強化学習を組み合わせた新しい手法を提案する。
提案手法はまず命令から一貫した達成可能なサブゴールのセットを生成し,学習済みのRLポリシーで関連するサブタスクを完了させる。
提案手法はiglu 2022コンペティションにおいてrlベースラインを形成した。
関連論文リスト
- Building Open-Ended Embodied Agent via Language-Policy Bidirectional
Adaptation [40.82919989450566]
LLM(Large Language Models)と強化学習(Reinforcement Learning, RL)を統合するための具体的エージェントの構築は、人間とAIのインタラクションに革命をもたらした。
既存の研究は、オープン・エンディネスの要件を満たす上で、課題に直面している。
我々は,人間の指示を計画の目標に翻訳するための事前学習 LLM の微調整と,意思決定の方針としての目標条件付きトレーニングの2段階からなる協調学習フレームワーク OpenPAL を提案する。
論文 参考訳(メタデータ) (2023-12-12T11:06:07Z) - ProgPrompt: Generating Situated Robot Task Plans using Large Language
Models [68.57918965060787]
大規模言語モデル(LLM)は、タスク計画中の潜在的な次のアクションを評価するために使用することができる。
本稿では, プログラム型LCMプロンプト構造を用いて, 配置環境間での計画生成機能を実現する。
論文 参考訳(メタデータ) (2022-09-22T20:29:49Z) - Neuro-Symbolic Causal Language Planning with Commonsense Prompting [67.06667162430118]
言語プランニングは、より単純な低レベルステップに分解することで、複雑な高レベルな目標を実装することを目的としている。
以前の手法では、大規模な言語モデルからそのような能力を得るために、手動の例えか注釈付きプログラムが必要である。
本稿では,LLMからの手続き的知識をコモンセンス・インフュージョン・プロンプトにより引き起こすニューロシンボリック因果言語プランナー(CLAP)を提案する。
論文 参考訳(メタデータ) (2022-06-06T22:09:52Z) - Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。
このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。
新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
論文 参考訳(メタデータ) (2022-02-03T18:55:52Z) - Language Models as Zero-Shot Planners: Extracting Actionable Knowledge
for Embodied Agents [111.33545170562337]
自然言語で表現された高レベルなタスクを、選択された実行可能なステップのセットに基底付ける可能性について検討する。
事前学習したLMが十分に大きく、適切に誘導された場合、ハイレベルなタスクを効果的に低レベルな計画に分解できることがわかった。
本稿では,既存の実演の条件を規定し,計画が許容可能な行動に意味的に変換される手順を提案する。
論文 参考訳(メタデータ) (2022-01-18T18:59:45Z) - Skill Induction and Planning with Latent Language [94.55783888325165]
我々は、ゴールがハイレベルなサブタスク記述のシーケンスを生成するアクションシーケンスの生成モデルを定式化する。
本稿では、このモデルを、主に注釈のないデモを用いて、名前付きハイレベルなサブタスクのシーケンスに解析する方法について述べる。
訓練されたモデルでは、自然言語コマンドの空間はスキルのライブラリを索引付けする;エージェントはこれらのスキルを使って、新しい目標に適した高いレベルの命令シーケンスを生成する。
論文 参考訳(メタデータ) (2021-10-04T15:36:32Z) - Grounding Language to Autonomously-Acquired Skills via Goal Generation [23.327749767424567]
言語条件付きRLに対する新しい概念的アプローチ:LGB(Language-Goal-Behavior Architecture)を提案する。
LGBは、世界の中間的な意味表現を通じて、スキル学習と言語基盤を分離する。
本稿では,物体間の空間的関係を記述した本質的な意味表現を具現化した,本質的な動機づけ型学習エージェントDECSTRを提案する。
論文 参考訳(メタデータ) (2020-06-12T13:46:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。