論文の概要: Large Sequence Models for Sequential Decision-Making: A Survey
- arxiv url: http://arxiv.org/abs/2306.13945v1
- Date: Sat, 24 Jun 2023 12:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 17:59:36.506942
- Title: Large Sequence Models for Sequential Decision-Making: A Survey
- Title（参考訳）: シーケンシャル意思決定のための大規模系列モデル:調査
- Authors: Muning Wen, Runji Lin, Hanjing Wang, Yaodong Yang, Ying Wen, Luo Mai,
Jun Wang, Haifeng Zhang and Weinan Zhang
- Abstract要約: トランスフォーマーはRLコミュニティへの関心が高まり、顕著な有効性と一般化性を持った多くのアプローチを生み出した。
本稿では, シーケンシャル意思決定における大規模シーケンスモデルの有効性向上を目的とした, 今後の研究に向けて, 様々な方法を提案する。
- 参考スコア（独自算出の注目度）: 33.35835438923926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transformer architectures have facilitated the development of large-scale and
general-purpose sequence models for prediction tasks in natural language
processing and computer vision, e.g., GPT-3 and Swin Transformer. Although
originally designed for prediction problems, it is natural to inquire about
their suitability for sequential decision-making and reinforcement learning
problems, which are typically beset by long-standing issues involving sample
efficiency, credit assignment, and partial observability. In recent years,
sequence models, especially the Transformer, have attracted increasing interest
in the RL communities, spawning numerous approaches with notable effectiveness
and generalizability. This survey presents a comprehensive overview of recent
works aimed at solving sequential decision-making tasks with sequence models
such as the Transformer, by discussing the connection between sequential
decision-making and sequence modeling, and categorizing them based on the way
they utilize the Transformer. Moreover, this paper puts forth various potential
avenues for future research intending to improve the effectiveness of large
sequence models for sequential decision-making, encompassing theoretical
foundations, network architectures, algorithms, and efficient training systems.
As this article has been accepted by the Frontiers of Computer Science, here is
an early version, and the most up-to-date version can be found at
https://journal.hep.com.cn/fcs/EN/10.1007/s11704-023-2689-5
- Abstract（参考訳）: トランスフォーマーアーキテクチャは、自然言語処理やコンピュータビジョン、例えば gpt-3 や swin トランスフォーマーの予測タスクのための大規模かつ汎用的なシーケンスモデルの開発を促進する。
本来は予測問題のために設計されたが、サンプル効率、クレジット割り当て、部分的可観測性といった長年の課題に起因した、逐次的な意思決定や強化学習問題への適合性について問うのは自然である。
近年、シークエンスモデル、特にトランスフォーマーはRLコミュニティへの関心を高め、顕著な有効性と一般化性を持った多くのアプローチを生み出している。
本研究は, 逐次意思決定とシーケンスモデリングの関連を議論し, 変圧器の活用法に基づいて分類することにより, 変圧器などの系列モデルを用いた逐次意思決定課題を解決することを目的とした最近の研究の包括的概要を示す。
さらに, ネットワークアーキテクチャ, アルゴリズム, 効率的な学習システムなど, 逐次的意思決定のための大規模シーケンスモデルの有効性向上を目指す今後の研究に向けて, 様々な可能性について述べる。
この記事はコンピュータサイエンスのフロンティアで受け入れられているように、これは初期のバージョンであり、最新のバージョンはhttps://journal.hep.com.cn/fcs/en/10.1007/s11704-023-2689-5で見ることができる。
関連論文リスト
- State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。
新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
論文 参考訳（メタデータ） (2024-06-13T12:51:22Z) - On the Resurgence of Recurrent Models for Long Sequences -- Survey and
Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。
長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文 参考訳（メタデータ） (2024-02-12T23:55:55Z) - A Transformer-based Framework For Multi-variate Time Series: A Remaining
Useful Life Prediction Use Case [4.0466311968093365]
本研究は,時系列予測のためのエンコーダ変換アーキテクチャに基づくフレームワークを提案する。
C-MAPPSベンチマークデータセットの4セットすべてに対して,提案手法の有効性を検証した。
機械寿命の初期段階と劣化経路のモデル認識を可能にするため, 新たな拡張窓手法が提案された。
論文 参考訳（メタデータ） (2023-08-19T02:30:35Z) - PASTA: Pretrained Action-State Transformer Agents [10.654719072766495]
自己教師型学習は、様々なコンピューティング領域において革命的なパラダイムシフトをもたらした。
最近のアプローチでは、大量のラベルのないデータに基づいて、トランスフォーマーモデルを事前訓練する。
強化学習において、研究者は最近これらのアプローチに適応し、専門家の軌道で事前訓練されたモデルを開発した。
論文 参考訳（メタデータ） (2023-07-20T15:09:06Z) - Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。
単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-05-26T00:43:02Z) - Two Steps Forward and One Behind: Rethinking Time Series Forecasting
with Deep Learning [7.967995669387532]
Transformerは、人工知能ニューラルネットワークの世界に革命をもたらした、非常に成功したディープラーニングモデルである。
時系列予測領域に適用したトランスフォーマーモデルの有効性について検討する。
性能が良く、より複雑でない代替モデル一式を提案する。
論文 参考訳（メタデータ） (2023-04-10T12:47:42Z) - Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。
最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。
Transformerモデルをより効率的にすることに注力している。
論文 参考訳（メタデータ） (2023-02-27T18:18:13Z) - Transformers predicting the future. Applying attention in next-frame and
time series forecasting [0.0]
繰り返しニューラルネットワークは、最近まで、シーケンス内のタイムリーな依存関係をキャプチャする最良の方法の1つでした。
トランスフォーマーの導入により、RNNのない注意機構しか持たないアーキテクチャが、様々なシーケンス処理タスクの結果を改善することが証明された。
論文 参考訳（メタデータ） (2021-08-18T16:17:29Z) - Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。
我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
論文 参考訳（メタデータ） (2021-06-03T17:58:51Z) - Decision Transformer: Reinforcement Learning via Sequence Modeling [102.86873656751489]
本稿では,シーケンスモデリング問題として強化学習(RL)を抽象化するフレームワークを提案する。
本稿では,RLを条件付きシーケンスモデルとして扱うアーキテクチャであるDecision Transformerを提案する。
その単純さにもかかわらず、Decision Transformerは、Atari、OpenAI Gym、Key-to-Doorタスク上での最先端のオフラインRLベースラインのパフォーマンスと一致または超過する。
論文 参考訳（メタデータ） (2021-06-02T17:53:39Z) - A Practical Survey on Faster and Lighter Transformers [0.9176056742068811]
Transformerは、入力シーケンスの任意の2つの位置を関連付けることのできるアテンションメカニズムのみに基づくモデルである。
多数のシーケンスモデリングタスクにまたがって最先端のタスクを改善した。
しかし、その有効性は、シーケンス長に関して2次計算とメモリの複雑さを犠牲にしている。
論文 参考訳（メタデータ） (2021-03-26T17:54:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。