論文の概要: MELD: Meta-Reinforcement Learning from Images via Latent State Models

• arxiv url: http://arxiv.org/abs/2010.13957v2
• Date: Mon, 11 Jan 2021 16:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 17:47:16.017641
• Title: MELD: Meta-Reinforcement Learning from Images via Latent State Models
• Title（参考訳）: MELD:潜時状態モデルによる画像からのメタ強化学習
• Authors: Tony Z. Zhao, Anusha Nagabandi, Kate Rakelly, Chelsea Finn, Sergey Levine
• Abstract要約: 我々は,遅延状態モデルで推論を行う画像からメタRLのアルゴリズムを開発し,新しいスキルを素早く獲得する。 MELDは、画像から現実のロボット制御設定でトレーニングされた最初のメタRLアルゴリズムである。
• 参考スコア（独自算出の注目度）: 109.1664295663325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Meta-reinforcement learning algorithms can enable autonomous agents, such as robots, to quickly acquire new behaviors by leveraging prior experience in a set of related training tasks. However, the onerous data requirements of meta-training compounded with the challenge of learning from sensory inputs such as images have made meta-RL challenging to apply to real robotic systems. Latent state models, which learn compact state representations from a sequence of observations, can accelerate representation learning from visual inputs. In this paper, we leverage the perspective of meta-learning as task inference to show that latent state models can \emph{also} perform meta-learning given an appropriately defined observation space. Building on this insight, we develop meta-RL with latent dynamics (MELD), an algorithm for meta-RL from images that performs inference in a latent state model to quickly acquire new skills given observations and rewards. MELD outperforms prior meta-RL methods on several simulated image-based robotic control problems, and enables a real WidowX robotic arm to insert an Ethernet cable into new locations given a sparse task completion signal after only $8$ hours of real world meta-training. To our knowledge, MELD is the first meta-RL algorithm trained in a real-world robotic control setting from images.
• Abstract（参考訳）: メタ強化学習アルゴリズムは、ロボットのような自律的なエージェントが、関連するトレーニングタスクのセットで事前の経験を利用して、新しい振る舞いを素早く得ることができる。 しかし、画像などの感覚入力から学習することの難しさと相まって、メタトレーニングの面倒なデータ要求は、実際のロボットシステムに適用することが困難になっている。 観測列からコンパクトな状態表現を学習する潜在状態モデルは、視覚入力から表現学習を加速することができる。 本稿では,タスク推論としてメタラーニングの観点から,潜在状態モデルが適切に定義された観測空間でメタラーニングを行うことができることを示す。 この知見に基づいて、潜時状態モデルで推論を行う画像からメタRLを抽出し、観察と報酬を迅速に獲得するメタRL(MELD)を開発した。 MELDは、いくつかのシミュレートされたイメージベースのロボット制御問題において、以前のメタRL法よりも優れており、実際のWidowXロボットアームは、わずか8ドル(約8,800円)のメタトレーニングの後、わずかにタスク完了信号の少ない新しい場所にイーサネットケーブルを挿入することができる。 私たちの知る限り、MELDは画像から現実のロボット制御環境で訓練された最初のメタRLアルゴリズムである。

関連論文リスト

• Meta-DT: Offline Meta-RL as Conditional Sequence Modeling with World Model Disentanglement [41.7426496795769]
  オフラインメタRLの効率的な一般化を実現するメタ決定変換器(Meta-DT)を提案する。 我々は、コンテキスト認識の世界モデルを用いて、コンパクトなタスク表現を学習し、それをコンテキスト条件として注入し、タスク指向のシーケンス生成を誘導する。 また,Meta-DTでは,ベースラインが強いのに比べ,少ない,ゼロショットの一般化能力が優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-15T09:51:30Z)
• SAM-RL: Sensing-Aware Model-Based Reinforcement Learning via Differentiable Physics-Based Simulation and Rendering [49.78647219715034]
  本稿では,SAM-RL と呼ばれる感性認識モデルに基づく強化学習システムを提案する。 SAM-RLは、センサーを意識した学習パイプラインによって、ロボットがタスクプロセスを監視するための情報的視点を選択することを可能にする。 我々は,ロボット組立,ツール操作,変形可能なオブジェクト操作という3つの操作タスクを達成するための実世界の実験に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2022-10-27T05:30:43Z)
• Meta-Learning via Classifier(-free) Guidance [5.812784742024491]
  最先端のメタ学習技術は、目に見えないタスクへのゼロショット適応を最適化しない。 本稿では,自然言語指導によるゼロショット性能向上のためのメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T11:09:35Z)
• Masked World Models for Visual Control [90.13638482124567]
  視覚表現学習と動的学習を分離する視覚モデルに基づくRLフレームワークを提案する。 提案手法は,様々な視覚ロボット作業における最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-06-28T18:42:27Z)
• Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
  オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。 オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。 提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
  論文  参考訳（メタデータ） (2020-12-21T18:28:17Z)
• RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real [74.45688231140689]
  本稿では、画像翻訳におけるRL-scene整合性損失を導入し、画像に関連付けられたQ値に対して変換操作が不変であることを保証する。 RL-CycleGANは実世界のシミュレーションから実世界への変換による強化学習のための新しい手法である。
  論文  参考訳（メタデータ） (2020-06-16T08:58:07Z)
• Meta-Reinforcement Learning for Robotic Industrial Insertion Tasks [70.56451186797436]
  本研究では,メタ強化学習を用いてシミュレーションの課題の大部分を解決する方法について検討する。 エージェントを訓練して現実の挿入タスクを成功させる手法を実証する。
  論文  参考訳（メタデータ） (2020-04-29T18:00:22Z)
• Fast Online Adaptation in Robotics through Meta-Learning Embeddings of Simulated Priors [3.4376560669160385]
  現実の世界では、ロボットはモーターの故障から岩の多い地形で自分自身を見つけるまで、あらゆる状況に遭遇するかもしれない。 FAMLEにより、ロボットはベースラインよりもはるかに少ない時間で、新たな損傷に適応できることを示す。
  論文  参考訳（メタデータ） (2020-03-10T12:37:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。