論文の概要: Moment-based Adversarial Training for Embodied Language Comprehension
- arxiv url: http://arxiv.org/abs/2204.00889v1
- Date: Sat, 2 Apr 2022 16:07:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-05 13:30:53.280202
- Title: Moment-based Adversarial Training for Embodied Language Comprehension
- Title(参考訳): 身体言語理解のためのモーメントに基づく会話学習
- Authors: Shintaro Ishikawa, Komei Sugiura
- Abstract要約: 本研究では、ロボットに家庭内タスクの実行を指示する視覚・言語タスクに焦点を当てる。
ロボットは命令文をサブゴールに分解し、正しい順序で実行する必要があるため、これは難しい。
対人訓練における摂動更新に2種類のモーメントを用いた対人訓練(MAT)を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we focus on a vision-and-language task in which a robot is
instructed to execute household tasks. Given an instruction such as "Rinse off
a mug and place it in the coffee maker," the robot is required to locate the
mug, wash it, and put it in the coffee maker. This is challenging because the
robot needs to break down the instruction sentences into subgoals and execute
them in the correct order. On the ALFRED benchmark, the performance of
state-of-the-art methods is still far lower than that of humans. This is
partially because existing methods sometimes fail to infer subgoals that are
not explicitly specified in the instruction sentences. We propose Moment-based
Adversarial Training (MAT), which uses two types of moments for perturbation
updates in adversarial training. We introduce MAT to the embedding spaces of
the instruction, subgoals, and state representations to handle their varieties.
We validated our method on the ALFRED benchmark, and the results demonstrated
that our method outperformed the baseline method for all the metrics on the
benchmark.
- Abstract(参考訳): 本稿では,ロボットが家庭作業を行うように指示される視覚言語タスクに注目した。
マグカップを外してコーヒーメーカーに配置する」という指示を与えられたロボットは、マグカップを見つけ、洗ってコーヒーメーカーに入れなければならない。
ロボットは命令文をサブゴールに分解し、正しい順序で実行する必要があるため、これは難しい。
ALFREDベンチマークでは、最先端の手法のパフォーマンスは人間よりもはるかに低い。
これは、既存のメソッドが命令文で明示的に指定されていないサブゴールを推論できないことがあるためである。
対人訓練における摂動更新に2種類のモーメントを用いた対人訓練(MAT)を提案する。
命令、サブゴール、状態表現の埋め込み空間にMATを導入し、それらの多様体を扱います。
提案手法をALFREDベンチマークで検証し,提案手法がベンチマーク上のすべての指標の基準法よりも優れていることを示した。
関連論文リスト
- NaturalVLM: Leveraging Fine-grained Natural Language for
Affordance-Guided Visual Manipulation [21.02437461550044]
多くの実世界のタスクは複雑な多段階推論を必要とする。
15個の異なる操作タスクからなるベンチマークであるNrVLMを導入する。
そこで本研究では,操作タスクをステップバイステップで完了させる新しい学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-03-13T09:12:16Z) - ThinkBot: Embodied Instruction Following with Thought Chain Reasoning [66.09880459084901]
EIF(Embodied Instruction following)は、複雑な環境下でオブジェクトを相互作用させることで、エージェントが人間の指示を完了させる。
我々は,人間の指導における思考連鎖を原因とした思考ボットを提案し,その不足した行動記述を復元する。
私たちのThinkBotは、成功率と実行効率の両面で、最先端のEIFメソッドよりも大きなマージンで優れています。
論文 参考訳(メタデータ) (2023-12-12T08:30:09Z) - Interactive Planning Using Large Language Models for Partially
Observable Robotics Tasks [54.60571399091711]
大きな言語モデル(LLM)は、オープン語彙タスクを実行するロボットエージェントを作成することで、驚くべき成果を上げている。
LLMを用いた部分的に観測可能なタスクのための対話型計画手法を提案する。
論文 参考訳(メタデータ) (2023-12-11T22:54:44Z) - Switching Head-Tail Funnel UNITER for Dual Referring Expression
Comprehension with Fetch-and-Carry Tasks [3.248019437833647]
本稿では,日常的な対象物を収集し,自由形式の自然言語指示に従って特定の目的地へ搬送するホームサービスロボットについて述べる。
既存の多モーダル言語理解手法のほとんどは、計算複雑性の観点からは実用的ではない。
対象物と宛先を1つのモデルで個別に予測することでタスクを解決できるスイッチングヘッドタイルファンネルUNITERを提案する。
論文 参考訳(メタデータ) (2023-07-14T05:27:56Z) - Using Both Demonstrations and Language Instructions to Efficiently Learn
Robotic Tasks [21.65346551790888]
DeL-TaCoは、視覚的なデモンストレーションと言語指導という2つのコンポーネントからなるタスク埋め込みにロボットポリシーを条件付ける方法である。
我々の知る限り、デモと言語埋め込みの両方にマルチタスクロボット操作ポリシーを同時に条件付けすることで、モダリティのみの条件付けよりもサンプル効率と一般化が向上することを示す最初の研究である。
論文 参考訳(メタデータ) (2022-10-10T08:06:58Z) - Transductive Learning for Unsupervised Text Style Transfer [60.65782243927698]
教師なしスタイル転送モデルは、主に帰納的学習アプローチに基づいている。
本稿では,検索に基づく文脈認識スタイルの表現に基づく新しいトランスダクティブ学習手法を提案する。
論文 参考訳(メタデータ) (2021-09-16T08:57:20Z) - Learning Language-Conditioned Robot Behavior from Offline Data and
Crowd-Sourced Annotation [80.29069988090912]
本研究では,ロボットインタラクションの大規模なオフラインデータセットから視覚に基づく操作タスクを学習する問題について検討する。
クラウドソースの自然言語ラベルを用いたオフラインロボットデータセットの活用を提案する。
提案手法は目標画像仕様と言語条件付き模倣技術の両方を25%以上上回っていることがわかった。
論文 参考訳(メタデータ) (2021-09-02T17:42:13Z) - A Persistent Spatial Semantic Representation for High-level Natural
Language Instruction Execution [54.385344986265714]
本稿では,言語行動とロボット行動のギャップを埋めるために,永続的な空間意味表現法を提案する。
一般的なステップバイステップ命令を完全に回避しながら、ALFREDベンチマークに対する我々のアプローチを評価し、最先端の結果を得る。
論文 参考訳(メタデータ) (2021-07-12T17:47:19Z) - Composing Pick-and-Place Tasks By Grounding Language [41.075844857146805]
制約のない言語指示に従って任意の物体を選定・配置するロボットシステムを提案する。
提案手法は,入力画像と言語表現からオブジェクトとその関係を推定する。
実世界のpr2ロボットを用いて得られた結果は,本手法の有効性を示す。
論文 参考訳(メタデータ) (2021-02-16T11:29:09Z) - Human-in-the-Loop Imitation Learning using Remote Teleoperation [72.2847988686463]
6-DoF操作設定に合わせたデータ収集システムを構築します。
システムによって収集された新しいデータに基づいて,ポリシーを反復的にトレーニングするアルゴリズムを開発した。
介入型システムで収集したデータに基づいて訓練されたエージェントと、非介入型デモ参加者が収集した同等数のサンプルで訓練されたアルゴリズムを上回るエージェントを実証する。
論文 参考訳(メタデータ) (2020-12-12T05:30:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。