論文の概要: Harnessing Discrete Representations For Continual Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2312.01203v3
- Date: Sat, 13 Jul 2024 06:47:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 02:44:20.715220
- Title: Harnessing Discrete Representations For Continual Reinforcement Learning
- Title（参考訳）: 継続的強化学習のための離散表現のハーネス化
- Authors: Edan Meyer, Adam White, Marlos C. Machado,
- Abstract要約: 強化学習の文脈における分類的価値のベクトルとして観測を表現することの利点について検討する。
従来の連続表現と比較すると、離散表現よりも学習した世界モデルは、キャパシティの少ない世界のより正確なモデルであることが分かる。
- 参考スコア（独自算出の注目度）: 8.61539229796467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement learning (RL) agents make decisions using nothing but observations from the environment, and consequently, heavily rely on the representations of those observations. Though some recent breakthroughs have used vector-based categorical representations of observations, often referred to as discrete representations, there is little work explicitly assessing the significance of such a choice. In this work, we provide a thorough empirical investigation of the advantages of representing observations as vectors of categorical values within the context of reinforcement learning. We perform evaluations on world-model learning, model-free RL, and ultimately continual RL problems, where the benefits best align with the needs of the problem setting. We find that, when compared to traditional continuous representations, world models learned over discrete representations accurately model more of the world with less capacity, and that agents trained with discrete representations learn better policies with less data. In the context of continual RL, these benefits translate into faster adapting agents. Additionally, our analysis suggests that the observed performance improvements can be attributed to the information contained within the latent vectors and potentially the encoding of the discrete representation itself.
- Abstract（参考訳）: 強化学習(Reinforcement Learning, RL)エージェントは、環境からの観察のみを用いて決定を行い、その結果、これらの観察の表現に大きく依存する。
最近のブレークスルーでは、しばしば離散表現と呼ばれるベクトルベースの分類表現が用いられているが、そのような選択の重要性を明確に評価する研究はほとんどない。
本研究では,強化学習の文脈における分類的価値のベクトルとして観測を表現できることの利点について,徹底的な実証的研究を行う。
我々は、世界モデル学習、モデルフリーのRL、最終的に連続的なRL問題の評価を行う。
従来の連続表現と比較すると、離散表現よりも学習した世界モデルは、キャパシティの少ない世界をより正確にモデル化し、離散表現で訓練されたエージェントは、少ないデータでより良いポリシーを学ぶ。
連続RLの文脈では、これらの利点はより高速な適応剤へと変換される。
さらに,本分析の結果から,潜在ベクトルに含まれる情報や,離散表現自体の符号化により,観測性能が向上する可能性が示唆された。
関連論文リスト
- The Surprising Ineffectiveness of Pre-Trained Visual Representations for Model-Based Reinforcement Learning [8.36595587335589]
視覚強化学習法は、しばしば大量のデータを必要とする。
モデルベースRL(MBRL)は、プランニングによる効率的なデータ利用の潜在的なソリューションを提供する。
MBRLには現実世界のタスクの一般化機能が欠けている。
論文 参考訳（メタデータ） (2024-11-15T13:21:26Z) - Learning Interpretable Policies in Hindsight-Observable POMDPs through
Partially Supervised Reinforcement Learning [57.67629402360924]
本稿では,PSRL(Partially Supervised Reinforcement Learning)フレームワークを紹介する。
PSRLの中心は、教師なし学習と教師なし学習の融合である。
PSRLは、保存中のモデル解釈可能性を高め、従来の手法で設定された性能ベンチマークよりも大幅に向上することを示す。
論文 参考訳（メタデータ） (2024-02-14T16:23:23Z) - A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - Improving Reinforcement Learning Efficiency with Auxiliary Tasks in
Non-Visual Environments: A Comparison [0.0]
本研究は,低次元非視覚的観察のための唯一の疎結合表現学習法である,我々の知識を最大限に活用して,一般的な補助課題と比較する。
その結果, 十分複雑な環境下では, 補助的タスクによる表現学習は, 性能向上にのみ寄与することがわかった。
論文 参考訳（メタデータ） (2023-10-06T13:22:26Z) - Light-weight probing of unsupervised representations for Reinforcement Learning [20.638410483549706]
線形探索が教師なしRL表現の品質評価の代行的タスクであるかどうかを検討する。
本稿では,Atari100kベンチマークにおける下流RL性能と,探索タスクが強く相関していることを示す。
これにより、事前学習アルゴリズムの空間を探索し、有望な事前学習レシピを特定するためのより効率的な方法が提供される。
論文 参考訳（メタデータ） (2022-08-25T21:08:01Z) - Learning Temporally-Consistent Representations for Data-Efficient
Reinforcement Learning [3.308743964406687]
$k$-Step Latent (KSL) は表現の時間的一貫性を強制する表現学習法である。
KSLはトレーニング中に見つからない新しいタスクを一般化するエンコーダを生成する。
論文 参考訳（メタデータ） (2021-10-11T00:16:43Z) - Exploratory State Representation Learning [63.942632088208505]
本稿では,XSRL(eXploratory State Representation Learning)と呼ばれる新しい手法を提案する。
一方、コンパクトな状態表現と、その表現から不可解な情報を除去するために使用される状態遷移推定器を共同で学習する。
一方、逆モデルを継続的に訓練し、このモデルの予測誤差に$k$-stepの学習促進ボーナスを加え、発見ポリシーの目的を形成する。
論文 参考訳（メタデータ） (2021-09-28T10:11:07Z) - Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。
これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
論文 参考訳（メタデータ） (2021-09-08T17:33:54Z) - Which Mutual-Information Representation Learning Objectives are
Sufficient for Control? [80.2534918595143]
相互情報は、データの表現を学習するために魅力的な形式を提供する。
本稿では,最適政策の学習と表現のための状態表現の十分性について定式化する。
意外なことに、これらの2つの目的は、MDPの構造に関する軽度で一般的な仮定を前提に、不十分な表現をもたらす可能性がある。
論文 参考訳（メタデータ） (2021-06-14T10:12:34Z) - Odd-One-Out Representation Learning [1.6822770693792826]
ランダム・ワン・アウト観測に基づく下流の弱教師付きタスクがモデル選択に適していることを示す。
また,この課題を高度に遂行する,目覚しいメトリック学習型VAEモデルが,他の標準の教師なしおよび弱教師付きアンタングルメントモデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-14T22:01:15Z) - Weakly-Supervised Disentanglement Without Compromises [53.55580957483103]
インテリジェントエージェントは、環境の変化を観察することで、有用な表現を学べるべきである。
変動の要因の少なくとも1つを共有する非I.d.画像のペアとしてそのような観測をモデル化する。
我々は,どの因子が変化したかのみを知るだけで,非絡み合った表現を学ぶのに十分であることを示す。
論文 参考訳（メタデータ） (2020-02-07T16:39:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。