論文の概要: Revisiting Recurrent Reinforcement Learning with Memory Monoids
- arxiv url: http://arxiv.org/abs/2402.09900v1
- Date: Thu, 15 Feb 2024 11:56:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 15:50:16.896722
- Title: Revisiting Recurrent Reinforcement Learning with Memory Monoids
- Title(参考訳): メモリモノイドを用いた繰り返し強化学習の再考
- Authors: Steven Morad, Chris Lu, Ryan Kortvelesy, Stephan Liwicki, Jakob
Foerster, Amanda Prorok
- Abstract要約: RLでは、RNNやトランスフォーマーなどのメモリモデルは、トラジェクトリを潜在マルコフ状態にマッピングすることで、部分的に観測可能なマルコフ決定プロセス(POMDP)に対処する。
これらのモデルの更新がモノイドであることに気付き、新しいメモリモノイドフレームワークを正式に定義しました。
本稿では, RLにおける再帰損失関数の実装を簡略化し, サンプル効率を改善し, 戻り値を増加させる手法を提案する。
- 参考スコア(独自算出の注目度): 11.86945491923298
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In RL, memory models such as RNNs and transformers address Partially
Observable Markov Decision Processes (POMDPs) by mapping trajectories to latent
Markov states. Neither model scales particularly well to long sequences,
especially compared to an emerging class of memory models sometimes called
linear recurrent models. We discover that the recurrent update of these models
is a monoid, leading us to formally define a novel memory monoid framework. We
revisit the traditional approach to batching in recurrent RL, highlighting both
theoretical and empirical deficiencies. Leveraging the properties of memory
monoids, we propose a new batching method that improves sample efficiency,
increases the return, and simplifies the implementation of recurrent loss
functions in RL.
- Abstract(参考訳): RLでは、RNNやトランスフォーマーのようなメモリモデルは、軌道を潜在マルコフ状態にマッピングすることで部分的に観測可能なマルコフ決定プロセス(POMDP)に対処する。
特にリニアリカレントモデルと呼ばれる新しいクラスのメモリモデルと比較すると、どちらのモデルも特に長いシーケンスにスケールしない。
これらのモデルの更新頻度が monoid であることに気付き、新しいメモリ monoid フレームワークを正式に定義することにしました。
リカレントrlのバッチ化に対する従来のアプローチを再検討し、理論的および経験的欠陥を強調する。
メモリモノイドの特性を活用することで、サンプル効率を改善し、リターンを高め、RLにおける繰り返し損失関数の実装を簡略化する新しいバッチ化手法を提案する。
関連論文リスト
- Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳(メタデータ) (2024-03-01T03:27:08Z) - Reinforcement Learning with Fast and Forgetful Memory [10.087126455388276]
強化学習(RL)に特化して設計されたアルゴリズムに依存しないメモリモデルであるFast and Forgetful Memoryを導入する。
提案手法は,計算心理学に触発された強い構造的先行性を通じて,モデル探索空間を制約する。
Fast and Forgetful Memoryは、リカレントニューラルネットワーク(RNN)よりも2桁高速なトレーニング速度を示す
論文 参考訳(メタデータ) (2023-10-06T09:56:26Z) - Recurrent Memory Decision Transformer [55.41644538483948]
本稿では,リカレントメモリ決定変換器(RMDT)を提案する。
我々は,アタリゲームと MuJoCo 制御問題に関する徹底的な実験を行い,提案モデルが再帰的なメモリ機構を伴わずに,そのモデルよりもはるかに優れていることを示す。
論文 参考訳(メタデータ) (2023-06-15T19:29:08Z) - ResMem: Learn what you can and memorize the rest [79.19649788662511]
本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。
構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。
ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
論文 参考訳(メタデータ) (2023-02-03T07:12:55Z) - Selective Memory Recursive Least Squares: Recast Forgetting into Memory
in RBF Neural Network Based Real-Time Learning [2.31120983784623]
放射ベース関数ニューラルネットワーク(RBFNN)に基づくリアルタイム学習タスクでは、忘れるメカニズムが広く使用されている。
本稿では,従来の記憶機構を記憶機構に再キャストする選択記憶再帰最小二乗法(SMRLS)を提案する。
SMRLSでは、RBFNNの入力空間を有限個の分割に均等に分割し、各分割から合成されたサンプルを用いて合成目的関数を開発する。
論文 参考訳(メタデータ) (2022-11-15T05:29:58Z) - When to Update Your Model: Constrained Model-based Reinforcement
Learning [50.74369835934703]
モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。
続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。
さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
論文 参考訳(メタデータ) (2022-10-15T17:57:43Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Bayesian Active Learning for Discrete Latent Variable Models [19.852463786440122]
アクティブラーニングは、モデルのパラメータに適合するために必要なデータ量を削減しようとする。
潜在変数モデルは神経科学、心理学、その他の様々な工学、科学分野において重要な役割を果たす。
論文 参考訳(メタデータ) (2022-02-27T19:07:12Z) - Recurrent Model-Free RL is a Strong Baseline for Many POMDPs [73.39666827525782]
メタRL、ロバストRL、RLの一般化など、RLの多くの問題はPOMDPとしてキャストできる。
理論上は、リカレントニューラルネットワークなどのメモリによるモデルフリーRLの増大は、あらゆるタイプのPOMDPを解決するための一般的なアプローチを提供する。
以前の研究で、そのような繰り返しモデルなしのRL法は、特定のタイプのPOMDP向けに設計された、より特殊なアルゴリズムよりもパフォーマンスが悪くなっていることが判明した。
論文 参考訳(メタデータ) (2021-10-11T07:09:14Z) - On the Memory Mechanism of Tensor-Power Recurrent Models [25.83531612758211]
TPリカレントモデルの記憶機構について検討する。
長期記憶効果を達成するためには, p が重要条件であることが示される。
新しいモデルは、安定して長いメモリ効果の恩恵を受けることが期待されている。
論文 参考訳(メタデータ) (2021-03-02T07:07:47Z) - Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling [36.511724015405036]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。
本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。