論文の概要: Overcoming Slow Decision Frequencies in Continuous Control: Model-Based Sequence Reinforcement Learning for Model-Free Control
- arxiv url: http://arxiv.org/abs/2410.08979v1
- Date: Fri, 18 Oct 2024 14:35:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-30 20:46:27.897859
- Title: Overcoming Slow Decision Frequencies in Continuous Control: Model-Based Sequence Reinforcement Learning for Model-Free Control
- Title（参考訳）: 連続制御における遅い決定周波数の克服:モデルに基づくモデル自由制御の系列強化学習
- Authors: Devdhar Patel, Hava Siegelmann,
- Abstract要約: 本稿では、与えられた入力状態に対するアクションのシーケンスを生成するために設計されたRLアルゴリズムであるSequence Reinforcement Learning(SRL)を紹介する。
SRLは、異なる時間スケールで動作するモデルとアクタークリティカルアーキテクチャの両方を利用することで、アクションシーケンスを学習する際の課題に対処する。
我々は,SRLを一連の連続制御タスクで評価し,その性能が最先端のアルゴリズムに匹敵することを示した。
- 参考スコア（独自算出の注目度）: 1.104960878651584
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Reinforcement learning (RL) is rapidly reaching and surpassing human-level control capabilities. However, state-of-the-art RL algorithms often require timesteps and reaction times significantly faster than human capabilities, which is impractical in real-world settings and typically necessitates specialized hardware. Such speeds are difficult to achieve in the real world and often requires specialized hardware. We introduce Sequence Reinforcement Learning (SRL), an RL algorithm designed to produce a sequence of actions for a given input state, enabling effective control at lower decision frequencies. SRL addresses the challenges of learning action sequences by employing both a model and an actor-critic architecture operating at different temporal scales. We propose a "temporal recall" mechanism, where the critic uses the model to estimate intermediate states between primitive actions, providing a learning signal for each individual action within the sequence. Once training is complete, the actor can generate action sequences independently of the model, achieving model-free control at a slower frequency. We evaluate SRL on a suite of continuous control tasks, demonstrating that it achieves performance comparable to state-of-the-art algorithms while significantly reducing actor sample complexity. To better assess performance across varying decision frequencies, we introduce the Frequency-Averaged Score (FAS) metric. Our results show that SRL significantly outperforms traditional RL algorithms in terms of FAS, making it particularly suitable for applications requiring variable decision frequencies. Additionally, we compare SRL with model-based online planning, showing that SRL achieves superior FAS while leveraging the same model during training that online planners use for planning.
- Abstract（参考訳）: 強化学習(RL)は急速に人間レベルの制御能力を超えつつある。
しかし、最先端のRLアルゴリズムは人間の能力よりもはるかに高速な時間ステップと反応時間を必要とすることが多く、これは現実の環境では非現実的であり、通常は特殊なハードウェアを必要とする。
このようなスピードは現実世界では達成が困難であり、しばしば特別なハードウェアを必要とする。
本稿では、与えられた入力状態に対するアクションのシーケンスを生成するために設計されたRLアルゴリズムであるSequence Reinforcement Learning (SRL)を紹介し、より低い決定周波数での効果的な制御を可能にする。
SRLは、異なる時間スケールで動作するモデルとアクタークリティカルアーキテクチャの両方を利用することで、アクションシーケンスを学習する際の課題に対処する。
本研究では,このモデルを用いて原始的行動間の中間状態を推定し,各行動に対する学習信号を提供する「時間的リコール」機構を提案する。
トレーニングが完了すると、アクターはモデルとは独立してアクションシーケンスを生成し、より遅い周波数でモデルフリー制御を達成する。
我々はSRLを一連の連続制御タスクで評価し、最先端のアルゴリズムに匹敵する性能を実現するとともに、アクターサンプルの複雑さを著しく低減することを示した。
そこで,周波数平均スコア(FAS)測定基準を導入する。
その結果,SRL は従来の RL アルゴリズムよりも FAS の方が優れており,可変決定周波数を必要とするアプリケーションに特に適していることがわかった。
さらに、SRLとモデルベースオンラインプランニングを比較し、SRLは、オンラインプランナーが計画に使用するトレーニングで同じモデルを活用しながら、優れたFASを達成することを示す。
関連論文リスト
- Reinforcement Learning with Action Sequence for Data-Efficient Robot Learning [62.3886343725955]
本稿では,行動列上のQ値を出力する批判ネットワークを学習する新しいRLアルゴリズムを提案する。
提案アルゴリズムは,現在および将来の一連の行動の実行結果を学習するために値関数を明示的に訓練することにより,ノイズのある軌道から有用な値関数を学習することができる。
論文 参考訳（メタデータ） (2024-11-19T01:23:52Z) - Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models [11.624678008637623]
RLHFにおける生成と学習の分離を提案する。
非同期トレーニングは、オンラインだが非政治的なRLHFという未調査の制度に依存している。
非同期RLHFのさらなる計算最適化について検討するが、性能上のコストがかかることがわかった。
論文 参考訳（メタデータ） (2024-10-23T19:59:50Z) - MOSEAC: Streamlined Variable Time Step Reinforcement Learning [14.838483990647697]
マルチ目的ソフト・エクササイズ・アクタ・クライブ法(MOSEAC)を提案する。
MOSEACは、トレーニング中のタスク報酬の観測傾向に基づく適応型報酬スキームを特徴とする。
ニュートンのキネマティクス環境におけるシミュレーションによりMOSEAC法の有効性を検証した。
論文 参考訳（メタデータ） (2024-06-03T16:51:57Z) - When to Sense and Control? A Time-adaptive Approach for Continuous-Time RL [37.58940726230092]
離散時間マルコフ決定過程(MDP)の最適化における強化学習(RL)の特長
この課題に対処するRLフレームワークであるTime-Adaptive Control & Sensing(TaCoS)を形式化する。
我々は、TaCoSで訓練された最先端のRLアルゴリズムが、その離散時間に対する相互作用量を劇的に削減できることを実証した。
論文 参考訳（メタデータ） (2024-06-03T09:57:18Z) - Action-Quantized Offline Reinforcement Learning for Robotic Skill
Learning [68.16998247593209]
オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。
本稿では,アクション量子化のための適応型スキームを提案する。
IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
論文 参考訳（メタデータ） (2023-10-18T06:07:10Z) - A Real-World Quadrupedal Locomotion Benchmark for Offline Reinforcement
Learning [27.00483962026472]
現実的な四足歩行データセットにおける11のオフライン強化学習アルゴリズムをベンチマークした。
実験の結果,ORLアルゴリズムはモデルフリーのRLに比べて競争性能がよいことがわかった。
提案するベンチマークは,実世界の歩行作業におけるORLアルゴリズムの性能をテスト・評価するための開発プラットフォームとして機能する。
論文 参考訳（メタデータ） (2023-09-13T13:18:29Z) - LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement
Learning [78.2286146954051]
LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している
本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
論文 参考訳（メタデータ） (2022-09-21T13:21:00Z) - POAR: Efficient Policy Optimization via Online Abstract State
Representation Learning [6.171331561029968]
状態表現学習(SRL)は,複雑な感覚データからタスク関連特徴を低次元状態に符号化する。
我々は、SRLの解釈を改善するために、専門家のデモンストレーションを活用するために、ドメイン類似と呼ばれる新しいSRLを導入する。
我々はPOARを実証的に検証し、高次元のタスクを効率的に処理し、スクラッチから直接実生活ロボットの訓練を容易にする。
論文 参考訳（メタデータ） (2021-09-17T16:52:03Z) - Reinforcement Learning as One Big Sequence Modeling Problem [84.84564880157149]
強化学習(Reinforcement Learning, RL)は、通常、単一ステップポリシーや単一ステップモデルの推定に関係している。
我々は、RLをシーケンスモデリング問題とみなし、高い報酬のシーケンスにつながる一連のアクションを予測することを目標としている。
論文 参考訳（メタデータ） (2021-06-03T17:58:51Z) - Towards Standardizing Reinforcement Learning Approaches for Stochastic
Production Scheduling [77.34726150561087]
強化学習はスケジューリングの問題を解決するのに使える。
既存の研究は、コードが利用できない複雑なシミュレーションに依存している。
から選ぶべきRLの設計の広大な配列があります。
モデル記述の標準化 - 生産セットアップとRL設計の両方 - と検証スキームは前提条件です。
論文 参考訳（メタデータ） (2021-04-16T16:07:10Z) - Information Theoretic Model Predictive Q-Learning [64.74041985237105]
本稿では,情報理論的MPCとエントロピー正規化RLとの新たな理論的関連性を示す。
バイアスモデルを利用したQ-ラーニングアルゴリズムを開発した。
論文 参考訳（メタデータ） (2019-12-31T00:29:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。