論文の概要: Recurrent Memory Decision Transformer
- arxiv url: http://arxiv.org/abs/2306.09459v1
- Date: Thu, 15 Jun 2023 19:29:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 16:09:36.527470
- Title: Recurrent Memory Decision Transformer
- Title(参考訳): リカレントメモリ決定変換器
- Authors: Arkadii Bessonov and Alexey Staroverov and Huzhenyu Zhang and Alexey
K. Kovalev and Dmitry Yudin and Aleksandr I. Panov
- Abstract要約: 本稿では,リカレントメモリ決定変換器(RMDT)を提案する。
我々は,アタリゲームとMoJoCo制御問題に関する徹底的な実験を行い,提案モデルが再帰記憶機構を伴わないモデルよりもはるかに優れていることを示す。
- 参考スコア(独自算出の注目度): 55.41644538483948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformative models, originally developed for natural language problems,
have recently been widely used in offline reinforcement learning tasks. This is
due to the fact that the agent's history can be represented as a sequence, and
the whole task can be reduced to the sequence modeling task. However, the
quadratic complexity of the transformer operation limits the potential increase
in context. Therefore, to work with long sequences in a natural language,
different versions of the memory mechanism are used. In this paper, we propose
the Recurrent Memory Decision Transformer (RMDT), a model that uses a recurrent
memory mechanism for reinforcement learning problems. We conduct thorough
experiments on Atari games and MoJoCo control problems, and show that our
proposed model is significantly superior to its counterparts without the
recurrent memory mechanism on Atari games. We also carefully study the effect
of memory on the performance of the proposed model. These findings shed light
on the potential of incorporating recurrent memory mechanisms to improve the
performance of large-scale transformer models in offline reinforcement learning
tasks. The Recurrent Memory Decision Transformer code is publicly available in
repository \url{https://anonymous.4open.science/r/RMDT-4FE4}.
- Abstract(参考訳): もともと自然言語問題のために開発されたトランスフォーメーションモデルは、最近オフライン強化学習タスクで広く使われている。
これはエージェントの履歴をシーケンスとして表現でき、タスク全体をシーケンスモデリングタスクに還元できるという事実による。
しかし、変圧器演算の二次的な複雑さは、文脈の潜在的な増加を制限する。
したがって、自然言語の長いシーケンスを扱うために、異なるバージョンのメモリ機構が使用される。
本稿では,リカレントメモリ機構を用いた学習支援モデルであるリカレントメモリ決定トランス(rmdt)を提案する。
atariゲームおよびmojoco制御問題に関する徹底的な実験を行い,本モデルがatariゲームにおける記憶機構を欠いたモデルよりも優れていることを示す。
また,提案モデルの性能に対する記憶の影響についても慎重に検討した。
これらの結果は、オフライン強化学習タスクにおける大規模変圧器モデルの性能を改善するために再帰記憶機構を組み込む可能性に光を当てた。
Recurrent Memory Decision Transformer コードは、リポジトリ \url{https://anonymous.4open.science/r/RMDT-4FE4} で公開されている。
関連論文リスト
- Spatially-Aware Transformer for Embodied Agents [20.498778205143477]
本稿では,空間情報を含む空間認識変換器モデルの利用について検討する。
メモリ利用効率が向上し,様々な場所中心の下流タスクにおいて精度が向上することが実証された。
また,強化学習に基づくメモリ管理手法であるAdaptive Memory Allocatorを提案する。
論文 参考訳(メタデータ) (2024-02-23T07:46:30Z) - Cached Transformers: Improving Transformers with Differentiable Memory
Cache [71.28188777209034]
この作業では、Cached Transformerと呼ばれる新しいTransformerモデルが導入されている。
Gated Recurrent Cached (GRC) を使用して、トークンの異なるメモリキャッシュで自己アテンションメカニズムを拡張する。
論文 参考訳(メタデータ) (2023-12-20T03:30:51Z) - Memory-efficient Stochastic methods for Memory-based Transformers [3.360916255196531]
メモリベースのトランスは大量のメモリを必要とする可能性があり、非常に非効率である。
本稿では,メモリベーストランスのトレーニング効率を向上させるために,新しい2相トレーニング機構と新しい正規化手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T12:37:25Z) - Analysis of the Memorization and Generalization Capabilities of AI
Agents: Are Continual Learners Robust? [91.682459306359]
連続学習(CL)では、AIエージェントが動的環境下で非定常データストリームから学習する。
本稿では,過去の知識を維持しつつ,動的環境への堅牢な一般化を実現するための新しいCLフレームワークを提案する。
提案フレームワークの一般化と記憶性能を理論的に解析した。
論文 参考訳(メタデータ) (2023-09-18T21:00:01Z) - Memory-and-Anticipation Transformer for Online Action Understanding [52.24561192781971]
本稿では,過去,現在,未来を含む時間構造全体をモデル化する,メモリ予測に基づく新しいパラダイムを提案する。
本稿では,メモリ・アンド・アンティフィケーション・トランスフォーマ(MAT)を提案する。
論文 参考訳(メタデータ) (2023-08-15T17:34:54Z) - Think Before You Act: Decision Transformers with Internal Working Memory [39.321873516095714]
大規模言語モデル(LLM)に基づく意思決定エージェントは、複数のタスクをまたいで一般化する能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
本稿では,異なる下流タスクの情報を格納,ブレンド,検索するための内部動作メモリモジュールを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:20:22Z) - Transformers are Meta-Reinforcement Learners [0.060917028769172814]
本稿では,トランスアーキテクチャを用いたメモリ再配置機構を模倣したメタRLエージェントTrMRLを提案する。
本稿では,各層におけるベイズリスクを最小限に抑えるコンセンサス表現を自己注意で計算することを示す。
その結果, TrMRLは同等あるいは優れた性能, サンプル効率, アウト・オブ・ディストリビューションの一般化を示すことがわかった。
論文 参考訳(メタデータ) (2022-06-14T06:21:13Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳(メタデータ) (2021-11-22T11:23:01Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。