論文の概要: Augmented Replay Memory in Reinforcement Learning With Continuous
Control
- arxiv url: http://arxiv.org/abs/1912.12719v1
- Date: Sun, 29 Dec 2019 20:07:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-17 07:29:15.552481
- Title: Augmented Replay Memory in Reinforcement Learning With Continuous
Control
- Title（参考訳）: 連続制御による強化学習における拡張リプレイメモリ
- Authors: Mirza Ramicic, Andrea Bonarini
- Abstract要約: オンライン強化学習エージェントは、高次値関数に変換することで、現在、増大するデータを処理することができる。
この拡張によりエージェントの状態空間が増大し、より複雑な問題にスケールアップできるだけでなく、冗長なデータや矛盾するデータを学習することで忘れるリスクも増大する。
大量のデータの近似を改善するために、リプレイメモリバッファに格納された過去の経験のランダムなミニバッチを各学習ステップで頻繁に再生する。
- 参考スコア（独自算出の注目度）: 1.6752182911522522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online reinforcement learning agents are currently able to process an
increasing amount of data by converting it into a higher order value functions.
This expansion of the information collected from the environment increases the
agent's state space enabling it to scale up to a more complex problems but also
increases the risk of forgetting by learning on redundant or conflicting data.
To improve the approximation of a large amount of data, a random mini-batch of
the past experiences that are stored in the replay memory buffer is often
replayed at each learning step. The proposed work takes inspiration from a
biological mechanism which act as a protective layer of human brain higher
cognitive functions: active memory consolidation mitigates the effect of
forgetting of previous memories by dynamically processing the new ones. The
similar dynamics are implemented by a proposed augmented memory replay AMR
capable of optimizing the replay of the experiences from the agent's memory
structure by altering or augmenting their relevance. Experimental results show
that an evolved AMR augmentation function capable of increasing the
significance of the specific memories is able to further increase the stability
and convergence speed of the learning algorithms dealing with the complexity of
continuous action domains.
- Abstract（参考訳）: オンライン強化学習エージェントは現在、高次値関数に変換することで、データ量の増大を処理することができる。
この環境から収集された情報の拡張により、エージェントの状態空間が増大し、より複雑な問題にスケールアップできるだけでなく、冗長なデータや矛盾するデータで学習することで忘れるリスクも高まる。
大量のデータの近似を改善するために、リプレイメモリバッファに格納された過去の経験のランダムなミニバッチを各学習ステップで頻繁に再生する。
提案した研究は、人間の脳の高次認知機能の保護層として機能する生物学的メカニズムからインスピレーションを得ており、アクティブメモリの統合は、新しい記憶を動的に処理することで、過去の記憶を忘れることの影響を緩和する。
類似のダイナミクスは、エージェントのメモリ構造からの経験の再生を、それらの関連性を変更したり拡張したりすることで最適化することができる拡張メモリ再生AMRによって実装される。
実験の結果、特定の記憶の重要度を高めることができる進化したamr拡張関数は、連続的な動作領域の複雑さを扱う学習アルゴリズムの安定性と収束速度をさらに高めることができることがわかった。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Adversarially Diversified Rehearsal Memory (ADRM): Mitigating Memory Overfitting Challenge in Continual Learning [0.0]
継続的な学習は、それまでの知識を忘れずに、静止しないデータ分布を学習することに焦点を当てる。
リハーサルベースのアプローチは、破滅的な忘れに対処するために一般的に使用される。
本稿では、メモリ過度に適合する課題に対処するために、Adversarially Diversified Rehearsal Memoryを導入する。
論文 参考訳（メタデータ） (2024-05-20T06:56:43Z) - Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。
本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。
この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
論文 参考訳（メタデータ） (2023-10-06T15:54:12Z) - A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。
我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
論文 参考訳（メタデータ） (2023-10-01T08:12:55Z) - Recurrent Action Transformer with Memory [39.58317527488534]
本稿では,情報保持を規制するリカレントメモリ機構を組み込んだ新しいモデルアーキテクチャを提案する。
メモリ集約環境(ViZDoom-Two-Colors, T-Maze, Memory Maze, Minigrid-Memory)、古典的アタリゲーム、MuJoCo制御環境について実験を行った。
その結果、メモリの使用は、古典的な環境における結果の維持や改善をしながら、メモリ集約環境におけるパフォーマンスを著しく向上させることができることがわかった。
論文 参考訳（メタデータ） (2023-06-15T19:29:08Z) - Two-Memory Reinforcement Learning [7.021281655855703]
エピソード記憶と強化学習には、それぞれ独自の長所と短所がある。
本稿では,2次元記憶と強化学習を組み合わせた2次元記憶強化学習エージェント (2M) を提案する。
実験により,2Mエージェントはよりデータ効率が高く,純粋なエピソード記憶と純粋な強化学習の両方に優れることが示された。
論文 参考訳（メタデータ） (2023-04-20T05:39:25Z) - Learning Human Cognitive Appraisal Through Reinforcement Memory Unit [63.83306892013521]
逐次評価タスクにおける人間の認知評価の効果を生かしたリカレントニューラルネットワークのためのメモリ強調機構を提案する。
記憶増強機構を2つの正および負の強化記憶とともに評価状態を含む強化記憶ユニット(RMU)として概念化する。
論文 参考訳（メタデータ） (2022-08-06T08:56:55Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳（メタデータ） (2021-03-04T08:14:10Z) - Learning to Learn Variational Semantic Memory [132.39737669936125]
我々はメタラーニングに変分セマンティックメモリを導入し、数ショットラーニングのための長期的知識を得る。
セマンティックメモリはスクラッチから成長し、経験したタスクから情報を吸収することで徐々に統合される。
アドレスコンテンツから潜在記憶変数の変動推論としてメモリリコールを定式化する。
論文 参考訳（メタデータ） (2020-10-20T15:05:26Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。