論文の概要: Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic
Forgetting in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2305.02054v2
- Date: Mon, 28 Aug 2023 14:38:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 23:43:23.944399
- Title: Map-based Experience Replay: A Memory-Efficient Solution to Catastrophic
Forgetting in Reinforcement Learning
- Title(参考訳): 地図に基づく体験リプレイ:強化学習における破滅的蓄積に対する記憶効率の良い解決法
- Authors: Muhammad Burhan Hafez, Tilman Immisch, Tom Weber, Stefan Wermter
- Abstract要約: 深層強化学習エージェントは、しばしば破滅的な忘れ込みに悩まされ、新しいデータをトレーニングする際に、入力空間の一部で以前見つかったソリューションを忘れる。
本稿では,Grow-When-Required(GWR)自己組織化ネットワークに基づく,認知に触発された新しいリプレイメモリ手法を提案する。
提案手法では, 状態ノードと遷移エッジの簡潔な環境モデルライクなネットワークに格納された遷移を整理し, 類似のサンプルをマージすることにより, メモリサイズを小さくし, サンプル間のペアワイズ距離を増大させる。
- 参考スコア(独自算出の注目度): 15.771773131031054
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep Reinforcement Learning agents often suffer from catastrophic forgetting,
forgetting previously found solutions in parts of the input space when training
on new data. Replay Memories are a common solution to the problem,
decorrelating and shuffling old and new training samples. They naively store
state transitions as they come in, without regard for redundancy. We introduce
a novel cognitive-inspired replay memory approach based on the
Grow-When-Required (GWR) self-organizing network, which resembles a map-based
mental model of the world. Our approach organizes stored transitions into a
concise environment-model-like network of state-nodes and transition-edges,
merging similar samples to reduce the memory size and increase pair-wise
distance among samples, which increases the relevancy of each sample. Overall,
our paper shows that map-based experience replay allows for significant memory
reduction with only small performance decreases.
- Abstract(参考訳): 深層強化学習エージェントは、新しいデータをトレーニングするとき、入力空間の一部で以前に見つかったソリューションを忘れ、壊滅的な忘れに苦しむことが多い。
Replay Memoriesはこの問題の一般的な解決策であり、古いトレーニングサンプルと新しいトレーニングサンプルを関連付け、シャッフルする。
冗長性を考慮せずに、入ってくる状態遷移を生かして保存する。
本稿では,世界地図ベースの心的モデルに類似したgwr自己組織化ネットワークに基づく,新しい認知的インスパイアされたリプレイメモリアプローチを提案する。
本手法では,ステートノードとトランジッションエッジの簡潔な環境モデルライクなネットワークにストアドトランジションを整理し,類似したサンプルをマージすることでメモリサイズを削減し,サンプル間のペアワイズ距離を増加させ,各サンプルの関連性を高める。
全体的に、マップベースのエクスペリエンスリプレイにより、少ないパフォーマンスで大幅にメモリ削減が可能となることを示した。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Memory Replay with Data Compression for Continual Learning [80.95444077825852]
古いトレーニングサンプルの記憶コストを低減するため,データ圧縮によるメモリリプレイを提案する。
我々はこれを、クラスインクリメンタル学習のいくつかのベンチマークと、自律運転のためのオブジェクト検出の現実的なシナリオにおいて、広範囲に検証する。
論文 参考訳(メタデータ) (2022-02-14T10:26:23Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Saliency Guided Experience Packing for Replay in Continual Learning [6.417011237981518]
本研究では,経験再現のための新しいアプローチを提案し,過去の経験をサリエンシマップから選択する。
新しいタスクを学習している間、我々はこれらのメモリパッチを適切なゼロパディングで再生し、過去の決定をモデルに思い出させる。
論文 参考訳(メタデータ) (2021-09-10T15:54:58Z) - Reducing Representation Drift in Online Continual Learning [87.71558506591937]
私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。
この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
論文 参考訳(メタデータ) (2021-04-11T15:19:30Z) - Improving Computational Efficiency in Visual Reinforcement Learning via
Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。
SEERは、既存の非政治深層強化学習方法の簡単な修正です。
計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文 参考訳(メタデータ) (2021-03-04T08:14:10Z) - CNN with large memory layers [2.368995563245609]
この作業は、最近提案された製品キーメモリ構造であるcitelarge_Memoryを中心に、多くのコンピュータビジョンアプリケーションに実装されている。
メモリ構造は、ほぼすべてのニューラルネットワークアーキテクチャに拡張されるのに適した単純な計算プリミティブと見なすことができる。
論文 参考訳(メタデータ) (2021-01-27T20:58:20Z) - The Effectiveness of Memory Replay in Large Scale Continual Learning [42.67483945072039]
入力シーケンス内のタスクが分類に制限されず、出力が高次元の大規模環境で連続学習を研究する。
既存のメソッドは通常、入出力ペアのみを再生する。
入力と出力のペアに加えて,中間層の活性化を再現する。
論文 参考訳(メタデータ) (2020-10-06T01:23:12Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳(メタデータ) (2020-06-22T15:07:06Z) - Fully reversible neural networks for large-scale surface and sub-surface
characterization via remote sensing [4.383011485317949]
ハイパースペクトルおよび空中磁気および重力データの大規模な空間/周波数スケールは、(サブ)表面のキャラクタリゼーションに畳み込みニューラルネットワークを使用する場合、メモリ問題を引き起こす。
本研究は,高スペクトル時間ラプスデータによる土地利用変化検出の例と,空中地学的・地質学的データによる地域帯水層マッピングの例を示す。
論文 参考訳(メタデータ) (2020-03-16T23:54:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。