論文の概要: Recurrent Memory Decision Transformer
- arxiv url: http://arxiv.org/abs/2306.09459v2
- Date: Wed, 5 Jul 2023 06:20:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 20:14:16.317194
- Title: Recurrent Memory Decision Transformer
- Title(参考訳): リカレントメモリ決定変換器
- Authors: Arkadii Bessonov and Alexey Staroverov and Huzhenyu Zhang and Alexey
K. Kovalev and Dmitry Yudin and Aleksandr I. Panov
- Abstract要約: 本稿では,リカレントメモリ決定変換器(RMDT)を提案する。
我々は,アタリゲームと MuJoCo 制御問題に関する徹底的な実験を行い,提案モデルが再帰的なメモリ機構を伴わずに,そのモデルよりもはるかに優れていることを示す。
- 参考スコア(独自算出の注目度): 55.41644538483948
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Originally developed for natural language problems, transformer models have
recently been widely used in offline reinforcement learning tasks. This is
because the agent's history can be represented as a sequence, and the whole
task can be reduced to the sequence modeling task. However, the quadratic
complexity of the transformer operation limits the potential increase in
context. Therefore, different versions of the memory mechanism are used to work
with long sequences in a natural language. This paper proposes the Recurrent
Memory Decision Transformer (RMDT), a model that uses a recurrent memory
mechanism for reinforcement learning problems. We conduct thorough experiments
on Atari games and MuJoCo control problems and show that our proposed model is
significantly superior to its counterparts without the recurrent memory
mechanism on Atari games. We also carefully study the effect of memory on the
performance of the proposed model. These findings shed light on the potential
of incorporating recurrent memory mechanisms to improve the performance of
large-scale transformer models in offline reinforcement learning tasks. The
Recurrent Memory Decision Transformer code is publicly available in the
repository \url{https://anonymous.4open.science/r/RMDT-4FE4}.
- Abstract(参考訳): もともと自然言語問題のために開発されたトランスフォーマーモデルは、最近オフラインの強化学習タスクで広く使われている。
これはエージェントの履歴をシーケンスとして表現でき、タスク全体をシーケンスモデリングタスクに還元できるためである。
しかし、変圧器演算の二次的な複雑さは、文脈の潜在的な増加を制限する。
したがって、メモリ機構の異なるバージョンは、自然言語における長いシーケンスを扱うために使用される。
本稿では,リカレントメモリ機構を用いた学習支援モデルであるリカレントメモリ決定トランス(rmdt)を提案する。
atariゲームおよびmujoco制御問題に関する徹底的な実験を行い,本モデルがatariゲームにおける再帰記憶機構を必要とせず,そのモデルよりも有意に優れていることを示す。
また,提案モデルの性能に対する記憶の影響についても慎重に検討した。
これらの結果は、オフライン強化学習タスクにおける大規模変圧器モデルの性能を改善するために再帰記憶機構を組み込む可能性に光を当てた。
Recurrent Memory Decision Transformer コードはリポジトリ \url{https://anonymous.4open.science/r/RMDT-4FE4} で公開されている。
関連論文リスト
- Repeat After Me: Transformers are Better than State Space Models at
Copying [57.37277256818516]
一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
論文 参考訳(メタデータ) (2024-02-01T21:44:11Z) - Cached Transformers: Improving Transformers with Differentiable Memory
Cache [71.28188777209034]
この作業では、Cached Transformerと呼ばれる新しいTransformerモデルが導入されている。
Gated Recurrent Cached (GRC) を使用して、トークンの異なるメモリキャッシュで自己アテンションメカニズムを拡張する。
論文 参考訳(メタデータ) (2023-12-20T03:30:51Z) - Memory-efficient Stochastic methods for Memory-based Transformers [3.360916255196531]
メモリベースのトランスは大量のメモリを必要とする可能性があり、非常に非効率である。
本稿では,メモリベーストランスのトレーニング効率を向上させるために,新しい2相トレーニング機構と新しい正規化手法を提案する。
論文 参考訳(メタデータ) (2023-11-14T12:37:25Z) - Blockwise Parallel Transformer for Large Context Models [70.97386897478238]
Blockwise Parallel Transformer (BPT) は、メモリコストを最小限に抑えるために、自己アテンションとフィードフォワードネットワーク融合のブロックワイズ計算である。
メモリ効率を維持しながら、長い入力シーケンスを処理することにより、BPTはバニラ変換器の32倍、以前のメモリ効率の4倍のトレーニングシーケンスを可能にする。
論文 参考訳(メタデータ) (2023-05-30T19:25:51Z) - Think Before You Act: Decision Transformers with Internal Working Memory [39.321873516095714]
大規模言語モデル(LLM)に基づく意思決定エージェントは、複数のタスクをまたいで一般化する能力を示している。
この非効率性は、モデルがトレーニングを通してパラメータの振る舞いを記憶する忘れ現象に起因していると我々は主張する。
本稿では,異なる下流タスクの情報を格納,ブレンド,検索するための内部動作メモリモジュールを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:20:22Z) - AttMEMO : Accelerating Transformers with Memoization on Big Memory
Systems [10.585040856070941]
本稿では,意味的に類似した入力を見つけ,計算の類似性を識別する新しい埋め込み手法を提案する。
推論精度の低下を無視して,平均で22%(最大68%)の推論遅延低減を可能にする。
論文 参考訳(メタデータ) (2023-01-23T04:24:26Z) - Recurrent Memory Transformer [0.3529736140137003]
メモリ拡張セグメントレベルリカレント変圧器(リカレントメモリ変圧器)について検討する。
入力や出力シーケンスに特別なメモリトークンを追加することで、Transformerモデルに変更を加えることなくメモリ機構を実装します。
我々のモデルは、より小さなメモリサイズのための言語モデリングにおけるTransformer-XLと同等に動作し、より長いシーケンス処理を必要とするタスクに対して性能を向上する。
論文 参考訳(メタデータ) (2022-07-14T13:00:22Z) - Mesa: A Memory-saving Training Framework for Transformers [58.78933015299703]
本稿では,トランスフォーマーのためのメモリ節約トレーニングフレームワークであるMesaを紹介する。
Mesaは、フォワードパス中に正確なアクティベーションを使用し、低精度のアクティベーションを格納することで、トレーニング中のメモリ消費を減らす。
ImageNet、CIFAR-100、ADE20Kの実験は、Mesaがトレーニング中にメモリフットプリントの半分を削減できることを示した。
論文 参考訳(メタデータ) (2021-11-22T11:23:01Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z) - Memory Transformer [0.31406146587437894]
トランスフォーマーベースのモデルは、多くの自然言語処理タスクにおいて最先端の結果を得た。
メモリ拡張ニューラルネットワーク(MANN)は、従来のニューラルネットワークを拡張し、汎用メモリで表現する。
我々は,これらのメモリ拡張トランスフォーマーを評価し,メモリの存在がモデル性能と正の相関関係があることを実証した。
論文 参考訳(メタデータ) (2020-06-20T09:06:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。