論文の概要: Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2004.14646v1
• Date: Thu, 30 Apr 2020 09:09:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 03:22:14.685650
• Title: Bootstrap Latent-Predictive Representations for Multitask Reinforcement Learning
• Title（参考訳）: マルチタスク強化学習のためのブートストラップ潜在予測表現
• Authors: Daniel Guo, Bernardo Avila Pires, Bilal Piot, Jean-bastien Grill, Florent Altch\'e, R\'emi Munos, Mohammad Gheshlaghi Azar
• Abstract要約: The Prediction of Latents (PBL) is a self-supervised representation learning algorithm for Deep RL。 DMLab-30およびAtari-57設定における深部RLエージェントの状態よりも優れた性能を実現する実験を行った。
• 参考スコア（独自算出の注目度）: 8.207331495215506
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning a good representation is an essential component for deep reinforcement learning (RL). Representation learning is especially important in multitask and partially observable settings where building a representation of the unknown environment is crucial to solve the tasks. Here we introduce Prediction of Bootstrap Latents (PBL), a simple and flexible self-supervised representation learning algorithm for multitask deep RL. PBL builds on multistep predictive representations of future observations, and focuses on capturing structured information about environment dynamics. Specifically, PBL trains its representation by predicting latent embeddings of future observations. These latent embeddings are themselves trained to be predictive of the aforementioned representations. These predictions form a bootstrapping effect, allowing the agent to learn more about the key aspects of the environment dynamics. In addition, by defining prediction tasks completely in latent space, PBL provides the flexibility of using multimodal observations involving pixel images, language instructions, rewards and more. We show in our experiments that PBL delivers across-the-board improved performance over state of the art deep RL agents in the DMLab-30 and Atari-57 multitask setting.
• Abstract（参考訳）: 優れた表現を学ぶことは、深層強化学習(RL)に不可欠な要素である。 表現学習は、未知の環境の表現を構築することがタスクの解決に不可欠であるマルチタスクおよび部分的に観察可能な設定において特に重要である。 本稿では,マルチタスク深部RLのための単純で柔軟な自己教師型表現学習アルゴリズムであるBootstrap Latents (PBL)について紹介する。 PBLは将来の観測の多段階予測表現に基づいて構築され、環境力学に関する構造化情報を取得することに焦点を当てている。 具体的には、pblは将来の観測の潜在埋め込みを予測することによってその表現を訓練する。 これらの潜伏埋め込みは、前述の表現を予測できるように訓練されている。 これらの予測はブートストラップ効果を形成し、エージェントが環境ダイナミクスの重要な側面についてもっと学ぶことができる。 さらに、潜在空間における予測タスクを完全に定義することにより、PBLは画素画像、言語命令、報酬などを含むマルチモーダル観測を使用する柔軟性を提供する。 DMLab-30およびAtari-57マルチタスク設定において,PBLは深部RLエージェントの状態よりも性能が向上することを示す。

関連論文リスト

• Accelerating exploration and representation learning with offline pre-training [52.6912479800592]
  1つのオフラインデータセットから2つの異なるモデルを別々に学習することで、探索と表現の学習を改善することができることを示す。 ノイズコントラスト推定と補助報酬モデルを用いて状態表現を学習することで、挑戦的なNetHackベンチマークのサンプル効率を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2023-03-31T18:03:30Z)
• Palm up: Playing in the Latent Manifold for Unsupervised Pretraining [31.92145741769497]
  本稿では,多種多様なデータセットを使用しながら探索行動を示すアルゴリズムを提案する。 私たちのキーとなるアイデアは、静的データセットに事前トレーニングされた深層生成モデルを活用し、潜在空間に動的モデルを導入することです。 次に、教師なし強化学習アルゴリズムを用いて、この環境を探索し、収集したデータに基づいて教師なし表現学習を行う。
  論文  参考訳（メタデータ） (2022-10-19T22:26:12Z)
• Multi-Augmentation for Efficient Visual Representation Learning for Self-supervised Pre-training [1.3733988835863333]
  本稿では、パイプライン全体を構築するための様々な拡張ポリシーを網羅的に検索する、自己改善学習のためのマルチ強化(MA-SSRL)を提案する。 MA-SSRLは不変の特徴表現をうまく学習し、自己教師付き事前学習のための効率的で効果的で適応可能なデータ拡張パイプラインを提供する。
  論文  参考訳（メタデータ） (2022-05-24T04:18:39Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Multitask Adaptation by Retrospective Exploration with Learned World Models [77.34726150561087]
  本稿では,タスク非依存ストレージから取得したMBRLエージェントのトレーニングサンプルを提供するRAMaというメタ学習型アドレッシングモデルを提案する。 このモデルは、期待されるエージェントのパフォーマンスを最大化するために、ストレージから事前のタスクを解く有望な軌道を選択することで訓練される。
  論文  参考訳（メタデータ） (2021-10-25T20:02:57Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Robust Deep Reinforcement Learning via Multi-View Information Bottleneck [7.188571996124112]
  マルチビュー情報ボトルネック(MIB)の原理に基づく補助目標を提案する。 これにより、未来を予測的かつタスク非関連な気遣いに敏感な学習表現が促進される。 背景が自然な映像に置き換えられた場合でも、視覚制御の課題に対してSOTAの性能を発揮できることを実証します。
  論文  参考訳（メタデータ） (2021-02-26T02:24:36Z)
• Reinforcement Learning with Prototypical Representations [114.35801511501639]
  Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。 これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。 これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
  論文  参考訳（メタデータ） (2021-02-22T18:56:34Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。