論文の概要: Facing off World Model Backbones: RNNs, Transformers, and S4
- arxiv url: http://arxiv.org/abs/2307.02064v1
- Date: Wed, 5 Jul 2023 07:00:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 14:54:46.401129
- Title: Facing off World Model Backbones: RNNs, Transformers, and S4
- Title(参考訳): World Modelのバックボーンに挑戦する - RNN、Transformers、S4
- Authors: Fei Deng, Junyeong Park, Sungjin Ahn
- Abstract要約: 世界モデルは、モデルベース強化学習(MBRL)エージェントの基本的な構成要素である。
S4WMはS4をベースとした世界初の世界モデルであり、潜在想像力によって高次元画像列を生成できる。
- 参考スコア(独自算出の注目度): 20.097806025977764
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World models are a fundamental component in model-based reinforcement
learning (MBRL) agents. To perform temporally extended and consistent
simulations of the future in partially observable environments, world models
need to possess long-term memory. However, state-of-the-art MBRL agents, such
as Dreamer, predominantly employ recurrent neural networks (RNNs) as their
world model backbone, which have limited memory capacity. In this paper, we
seek to explore alternative world model backbones for improving long-term
memory. In particular, we investigate the effectiveness of Transformers and
Structured State Space Sequence (S4) models, motivated by their remarkable
ability to capture long-range dependencies in low-dimensional sequences and
their complementary strengths. We propose S4WM, the first S4-based world model
that can generate high-dimensional image sequences through latent imagination.
Furthermore, we extensively compare RNN-, Transformer-, and S4-based world
models across four sets of environments, which we have specifically tailored to
assess crucial memory capabilities of world models, including long-term
imagination, context-dependent recall, reward prediction, and memory-based
reasoning. Our findings demonstrate that S4WM outperforms Transformer-based
world models in terms of long-term memory, while exhibiting greater efficiency
during training and imagination. These results pave the way for the development
of stronger MBRL agents.
- Abstract(参考訳): 世界モデルはモデルベース強化学習(mbrl)エージェントの基本コンポーネントである。
部分的に観測可能な環境で未来を時間的に拡張し一貫したシミュレーションを行うには、世界モデルは長期記憶を持つ必要がある。
しかしながら、dreamerのような最先端のmbrlエージェントは、メモリ容量を制限した世界モデルバックボーンとしてrecurrent neural networks(rnn)を主に採用している。
本稿では,長期記憶改善のための代替世界モデルバックボーンについて検討する。
特に、トランスフォーマーと構造化状態空間シーケンス(S4)モデルの有効性について検討し、低次元列における長距離依存性と相補的強みを捉えることによる顕著な能力に動機づけられた。
S4WMはS4をベースとした世界初の世界モデルであり、潜在想像力によって高次元画像列を生成できる。
さらに,RNN-, Transformer-, S4-based world modelを4つの環境群で比較し, 長期的想像力, 文脈依存リコール, 報酬予測, メモリベース推論など, 世界モデルの重要な記憶能力の評価に特化している。
以上の結果から,S4WMは長期記憶においてトランスフォーマーをベースとした世界モデルより優れており,トレーニングや想像力の面では効率が優れていた。
これらの結果は、より強力なMBRL剤の開発への道を開いた。
関連論文リスト
- Decentralized Transformers with Centralized Aggregation are Sample-Efficient Multi-Agent World Models [106.94827590977337]
本稿では,分散化された局所力学を拡張性のために学習するマルチエージェントRL(MARL)の新たな世界モデルを提案する。
また、集中表現アグリゲーションを可能にする効果的なソリューションとしてPerceiver Transformerを導入する。
Starcraft Multi-Agent Challenge (SMAC) の結果は、サンプル効率と全体的な性能の両方において、強力なモデルフリーアプローチと既存のモデルベース手法よりも優れていることを示している。
論文 参考訳(メタデータ) (2024-06-22T12:40:03Z) - LFMamba: Light Field Image Super-Resolution with State Space Model [28.426889157353028]
LFMambaと呼ばれる光フィールド画像の超解像のためのSSMネットワークを提案する。
LFベンチマーク実験の結果, LFMambaの性能は良好であった。
LFMambaは、状態空間モデルによるLFの効果的な表現学習に光を当てていると期待している。
論文 参考訳(メタデータ) (2024-06-18T10:13:19Z) - Dual Hyperspectral Mamba for Efficient Spectral Compressive Imaging [102.35787741640749]
本稿では,グローバルな長距離依存関係と局所的コンテキストの両方を探索し,効率的なHSI再構成を実現するために,DHM(Dual Hyperspectral Mamba)を提案する。
具体的には、DHMは複数の双対超スペクトルS4ブロック(DHSB)から構成され、元のHSIを復元する。
論文 参考訳(メタデータ) (2024-06-01T14:14:40Z) - Mastering Memory Tasks with World Models [12.99255437732525]
現在のモデルベース強化学習(MBRL)エージェントは、長期依存に苦慮している。
本稿では,時間的コヒーレンスを改善するための新しい手法であるRecall to Imagine (R2I)を提案する。
R2Iは、メモリとクレジットの割り当てに挑戦するRLタスクのための新しい最先端技術を確立する。
論文 参考訳(メタデータ) (2024-03-07T06:35:59Z) - Convolutional State Space Models for Long-Range Spatiotemporal Modeling [65.0993000439043]
ConvS5は、長距離時間モデリングのための効率的な変種である。
トランスフォーマーとConvNISTTMは、長い水平移動実験において、ConvLSTMより3倍速く、トランスフォーマーより400倍速くサンプルを生成する一方で、大幅に性能が向上した。
論文 参考訳(メタデータ) (2023-10-30T16:11:06Z) - Structured State Space Models for In-Context Reinforcement Learning [30.189834820419446]
構造化状態空間列(S4)モデルは、最近、長距離シーケンスモデリングタスクにおいて最先端の性能を達成した。
隠れた状態を並列に初期化およびリセットできるS4の変種に対する修正を提案する。
変更したアーキテクチャはシーケンス長のTransformerよりも高速に動作し、単純なメモリベースのタスクでRNNよりもパフォーマンスがよいことを示す。
論文 参考訳(メタデータ) (2023-03-07T15:32:18Z) - Deep Latent State Space Models for Time-Series Generation [68.45746489575032]
状態空間ODEに従って進化する潜伏変数を持つ列の生成モデルLS4を提案する。
近年の深層状態空間モデル(S4)に着想を得て,LS4の畳み込み表現を利用して高速化を実現する。
LS4は, 実世界のデータセット上での限界分布, 分類, 予測スコアにおいて, 従来の連続時間生成モデルよりも有意に優れていた。
論文 参考訳(メタデータ) (2022-12-24T15:17:42Z) - TransDreamer: Reinforcement Learning with Transformer World Models [30.387428559614186]
我々はTransDreamerと呼ばれるトランスフォーマーに基づくモデルベース強化学習エージェントを提案する。
まず、トランスフォーマー状態空間モデルを紹介し、この世界モデルをトランスフォーマーベースのポリシーネットワークと共有し、トランスフォーマーベースのRLエージェントをトレーニングする安定性を得る。
実験では,2次元の視覚的RLと3次元の視覚的RLタスクに対して,メモリベースの推論において,長期のメモリアクセスを必要とする2つの視覚的RLタスクに提案モデルを適用し,これらの複雑なタスクにおいて,提案モデルがドリーマーより優れていることを示す。
論文 参考訳(メタデータ) (2022-02-19T00:30:52Z) - STAR: Sparse Transformer-based Action Recognition [61.490243467748314]
本研究は,空間的次元と時間的次元に細かな注意を払っている新しいスケルトンに基づく人間行動認識モデルを提案する。
実験により、トレーニング可能なパラメータをはるかに少なくし、トレーニングや推論の高速化を図りながら、モデルが同等のパフォーマンスを達成できることが示されている。
論文 参考訳(メタデータ) (2021-07-15T02:53:11Z) - Multi-frame sequence generator of 4D human body motion [0.0]
本稿では,翻訳と回転を含むグローバルな移動をエンコードする自動エンコーダに基づく生成フレームワークと,単一遅延空間ベクトルとしての多フレーム時間運動を提案する。
本研究は,低誤差境界内でのヒト形態素の4次元配列の再構成能力について検証した。
また,最初の人間のフレームから将来のフレームの4次元動作予測を行う手法の利点についても述べる。
論文 参考訳(メタデータ) (2021-06-07T13:56:46Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳(メタデータ) (2020-10-14T09:03:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。