論文の概要: Exploratory State Representation Learning
- arxiv url: http://arxiv.org/abs/2109.13596v1
- Date: Tue, 28 Sep 2021 10:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-29 22:36:21.964612
- Title: Exploratory State Representation Learning
- Title（参考訳）: 探索的状態表現学習
- Authors: Astrid Merckling, Nicolas Perrin-Gilbert, Alexandre Coninx, St\'ephane
Doncieux
- Abstract要約: 本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。
一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。
一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
- 参考スコア（独自算出の注目度）: 63.942632088208505
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Not having access to compact and meaningful representations is known to
significantly increase the complexity of reinforcement learning (RL). For this
reason, it can be useful to perform state representation learning (SRL) before
tackling RL tasks. However, obtaining a good state representation can only be
done if a large diversity of transitions is observed, which can require a
difficult exploration, especially if the environment is initially reward-free.
To solve the problems of exploration and SRL in parallel, we propose a new
approach called XSRL (eXploratory State Representation Learning). On one hand,
it jointly learns compact state representations and a state transition
estimator which is used to remove unexploitable information from the
representations. On the other hand, it continuously trains an inverse model,
and adds to the prediction error of this model a $k$-step learning progress
bonus to form the maximization objective of a discovery policy. This results in
a policy that seeks complex transitions from which the trained models can
effectively learn. Our experimental results show that the approach leads to
efficient exploration in challenging environments with image observations, and
to state representations that significantly accelerate learning in RL tasks.
- Abstract（参考訳）: コンパクトで意味のある表現にアクセスできないことは、強化学習(RL)の複雑さを著しく増大させることが知られている。
このため、RLタスクに取り組む前に状態表現学習(SRL)を実行するのに有用である。
しかし、良い状態表現を得ることは、遷移の多様さが観察された場合にのみ可能であるため、特に初期報酬のない環境の場合、難しい探索が必要となる。
本稿では,探索とsrlを並行して解くために,xsrl(exploratory state representation learning)と呼ばれる新しいアプローチを提案する。
一方、コンパクトな状態表現と、その表現から説明不能な情報を取り除くために使用される状態遷移推定器を共同で学習する。
一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-step学習進行ボーナスを加え、発見ポリシーの最大化目標を形成する。
これにより、訓練されたモデルが効果的に学習できる複雑な遷移を求めるポリシーがもたらされる。
実験の結果,この手法は画像観察による課題のある環境の効率的な探索や,RLタスクの学習を著しく加速する状態表現につながることが示された。
関連論文リスト
- Improving Reinforcement Learning Efficiency with Auxiliary Tasks in
Non-Visual Environments: A Comparison [0.0]
本研究は,低次元非視覚的観察のための唯一の疎結合表現学習法である,我々の知識を最大限に活用して,一般的な補助課題と比較する。
その結果, 十分複雑な環境下では, 補助的タスクによる表現学習は, 性能向上にのみ寄与することがわかった。
論文 参考訳（メタデータ） (2023-10-06T13:22:26Z) - Light-weight probing of unsupervised representations for Reinforcement Learning [20.638410483549706]
線形探索が教師なしRL表現の品質評価の代行的タスクであるかどうかを検討する。
本稿では,Atari100kベンチマークにおける下流RL性能と,探索タスクが強く相関していることを示す。
これにより、事前学習アルゴリズムの空間を探索し、有望な事前学習レシピを特定するためのより効率的な方法が提供される。
論文 参考訳（メタデータ） (2022-08-25T21:08:01Z) - Value-Consistent Representation Learning for Data-Efficient
Reinforcement Learning [105.70602423944148]
本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。
この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。
検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
論文 参考訳（メタデータ） (2022-06-25T03:02:25Z) - INFOrmation Prioritization through EmPOWERment in Visual Model-Based RL [90.06845886194235]
モデルベース強化学習(RL)のための修正目的を提案する。
相互情報に基づく状態空間モデルに,変分エンパワーメントにインスパイアされた用語を統合する。
本研究は,視覚に基づくロボット制御作業における自然な映像背景を用いたアプローチの評価である。
論文 参考訳（メタデータ） (2022-04-18T23:09:23Z) - Mask-based Latent Reconstruction for Reinforcement Learning [58.43247393611453]
マスクをベースとした遅延再構成(MLR)は,空間的および時間的マスキング画素を用いた観測から潜在空間の完全な状態表現を予測するために提案される。
広汎な実験により,MLRは深部強化学習における試料効率を著しく向上させることが示された。
論文 参考訳（メタデータ） (2022-01-28T13:07:11Z) - Provable RL with Exogenous Distractors via Multistep Inverse Dynamics [85.52408288789164]
実世界の強化学習(RL)の応用は、メガピクセルカメラから生成されたような高次元の観察にエージェントが対処する必要がある。
従来の研究は表現学習でこのような問題に対処しており、エージェントは生の観察から内因性、潜伏状態の情報を確実に抽出することができる。
しかし、このような手法は観測において時間的に相関するノイズの存在下では失敗する可能性がある。
論文 参考訳（メタデータ） (2021-10-17T15:21:27Z) - Learning Temporally-Consistent Representations for Data-Efficient
Reinforcement Learning [3.308743964406687]
$k$-Step Latent (KSL) は表現の時間的一貫性を強制する表現学習法である。
KSLはトレーニング中に見つからない新しいタスクを一般化するエンコーダを生成する。
論文 参考訳（メタデータ） (2021-10-11T00:16:43Z) - POAR: Efficient Policy Optimization via Online Abstract State
Representation Learning [6.171331561029968]
状態表現学習(SRL)は,複雑な感覚データからタスク関連特徴を低次元状態に符号化する。
我々は、SRLの解釈を改善するために、専門家のデモンストレーションを活用するために、ドメイン類似と呼ばれる新しいSRLを導入する。
我々はPOARを実証的に検証し、高次元のタスクを効率的に処理し、スクラッチから直接実生活ロボットの訓練を容易にする。
論文 参考訳（メタデータ） (2021-09-17T16:52:03Z) - Cross-Trajectory Representation Learning for Zero-Shot Generalization in
RL [21.550201956884532]
高次元の観察空間上のいくつかのタスクで学んだポリシーを、トレーニング中に見えない同様のタスクに一般化する。
この課題に対する多くの有望なアプローチは、RLを2つの関数を同時に訓練するプロセスと見なしている。
本稿では,RLエージェント内で動作するクロストラジェクトリ表現学習(CTRL, Cross-Trajectory Representation Learning)を提案する。
論文 参考訳（メタデータ） (2021-06-04T00:43:10Z) - Reinforcement Learning with Prototypical Representations [114.35801511501639]
Proto-RLは、プロトタイプ表現を通じて表現学習と探索を結び付ける自己監督型フレームワークである。
これらのプロトタイプは、エージェントの探索経験の要約と同時に、観察を表す基盤としても機能する。
これにより、困難な連続制御タスクのセットで最新の下流ポリシー学習が可能になります。
論文 参考訳（メタデータ） (2021-02-22T18:56:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。