論文の概要: Recurrent Memory Decision Transformer
- arxiv url: http://arxiv.org/abs/2306.09459v2
- Date: Wed, 5 Jul 2023 06:20:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 20:14:16.317194
- Title: Recurrent Memory Decision Transformer
- Title（参考訳）: リカレントメモリ決定変換器
- Authors: Arkadii Bessonov and Alexey Staroverov and Huzhenyu Zhang and Alexey
K. Kovalev and Dmitry Yudin and Aleksandr I. Panov
- Abstract要約: 本稿では,リカレントメモリ決定変換器(RMDT)を提案する。
我々は,アタリゲームと MuJoCo 制御問題に関する徹底的な実験を行い,提案モデルが再帰的なメモリ機構を伴わずに,そのモデルよりもはるかに優れていることを示す。
- 参考スコア（独自算出の注目度）: 55.41644538483948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Originally developed for natural language problems, transformer models have
recently been widely used in offline reinforcement learning tasks. This is
because the agent's history can be represented as a sequence, and the whole
task can be reduced to the sequence modeling task. However, the quadratic
complexity of the transformer operation limits the potential increase in
context. Therefore, different versions of the memory mechanism are used to work
with long sequences in a natural language. This paper proposes the Recurrent
Memory Decision Transformer (RMDT), a model that uses a recurrent memory
mechanism for reinforcement learning problems. We conduct thorough experiments
on Atari games and MuJoCo control problems and show that our proposed model is
significantly superior to its counterparts without the recurrent memory
mechanism on Atari games. We also carefully study the effect of memory on the
performance of the proposed model. These findings shed light on the potential
of incorporating recurrent memory mechanisms to improve the performance of
large-scale transformer models in offline reinforcement learning tasks. The
Recurrent Memory Decision Transformer code is publicly available in the
repository \url{https://anonymous.4open.science/r/RMDT-4FE4}.
- Abstract（参考訳）: もともと自然言語問題のために開発されたトランスフォーマーモデルは、最近オフラインの強化学習タスクで広く使われている。
これはエージェントの履歴をシーケンスとして表現でき、タスク全体をシーケンスモデリングタスクに還元できるためである。
しかし、変圧器演算の二次的な複雑さは、文脈の潜在的な増加を制限する。
したがって、メモリ機構の異なるバージョンは、自然言語における長いシーケンスを扱うために使用される。
本稿では,リカレントメモリ機構を用いた学習支援モデルであるリカレントメモリ決定トランス(rmdt)を提案する。
atariゲームおよびmujoco制御問題に関する徹底的な実験を行い,本モデルがatariゲームにおける再帰記憶機構を必要とせず,そのモデルよりも有意に優れていることを示す。
また,提案モデルの性能に対する記憶の影響についても慎重に検討した。
これらの結果は、オフライン強化学習タスクにおける大規模変圧器モデルの性能を改善するために再帰記憶機構を組み込む可能性に光を当てた。
Recurrent Memory Decision Transformer コードはリポジトリ \url{https://anonymous.4open.science/r/RMDT-4FE4} で公開されている。
関連論文リスト
- Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。
本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。
我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
論文 参考訳（メタデータ） (2024-10-14T03:50:17Z) - SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。
初期経路では、中間出力は反冗長動作によって統合される。
遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
論文 参考訳（メタデータ） (2024-07-10T10:22:35Z) - Spatially-Aware Transformer for Embodied Agents [20.498778205143477]
本稿では,空間情報を含む空間認識変換器モデルの利用について検討する。
メモリ利用効率が向上し,様々な場所中心の下流タスクにおいて精度が向上することが実証された。
また,強化学習に基づくメモリ管理手法であるAdaptive Memory Allocatorを提案する。
論文 参考訳（メタデータ） (2024-02-23T07:46:30Z) - Cached Transformers: Improving Transformers with Differentiable Memory
Cache [71.28188777209034]
この作業では、Cached Transformerと呼ばれる新しいTransformerモデルが導入されている。
Gated Recurrent Cached (GRC) を使用して、トークンの異なるメモリキャッシュで自己アテンションメカニズムを拡張する。
論文 参考訳（メタデータ） (2023-12-20T03:30:51Z) - Memory-efficient Stochastic methods for Memory-based Transformers [3.360916255196531]
メモリベースのトランスは大量のメモリを必要とする可能性があり、非常に非効率である。
本稿では,メモリベーストランスのトレーニング効率を向上させるために,新しい2相トレーニング機構と新しい正規化手法を提案する。
論文 参考訳（メタデータ） (2023-11-14T12:37:25Z) - Think Before You Act: Decision Transformers with Working Memory [44.18926449252084]
決定変換器に基づく意思決定エージェントは、複数のタスクにまたがる一般化能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
ダウンストリームタスクの情報を格納、ブレンド、検索するためのワーキングメモリモジュールを提案する。
論文 参考訳（メタデータ） (2023-05-24T01:20:22Z) - Transformers are Meta-Reinforcement Learners [0.060917028769172814]
本稿では,トランスアーキテクチャを用いたメモリ再配置機構を模倣したメタRLエージェントTrMRLを提案する。
本稿では,各層におけるベイズリスクを最小限に抑えるコンセンサス表現を自己注意で計算することを示す。
その結果, TrMRLは同等あるいは優れた性能, サンプル効率, アウト・オブ・ディストリビューションの一般化を示すことがわかった。
論文 参考訳（メタデータ） (2022-06-14T06:21:13Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳（メタデータ） (2021-11-22T11:23:01Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。