論文の概要: MOSEAC: Streamlined Variable Time Step Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2406.01521v1
• Date: Mon, 3 Jun 2024 16:51:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 22:00:59.791682
• Title: MOSEAC: Streamlined Variable Time Step Reinforcement Learning
• Title（参考訳）: MOSEAC: ストリーム化された可変時間ステップ強化学習
• Authors: Dong Wang, Giovanni Beltrame,
• Abstract要約: マルチ目的ソフト・エクササイズ・アクタ・クライブ法(MOSEAC)を提案する。 MOSEACは、トレーニング中のタスク報酬の観測傾向に基づく適応型報酬スキームを特徴とする。 ニュートンのキネマティクス環境におけるシミュレーションによりMOSEAC法の有効性を検証した。
• 参考スコア（独自算出の注目度）: 14.838483990647697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Traditional reinforcement learning (RL) methods typically employ a fixed control loop, where each cycle corresponds to an action. This rigidity poses challenges in practical applications, as the optimal control frequency is task-dependent. A suboptimal choice can lead to high computational demands and reduced exploration efficiency. Variable Time Step Reinforcement Learning (VTS-RL) addresses these issues by using adaptive frequencies for the control loop, executing actions only when necessary. This approach, rooted in reactive programming principles, reduces computational load and extends the action space by including action durations. However, VTS-RL's implementation is often complicated by the need to tune multiple hyperparameters that govern exploration in the multi-objective action-duration space (i.e., balancing task performance and number of time steps to achieve a goal). To overcome these challenges, we introduce the Multi-Objective Soft Elastic Actor-Critic (MOSEAC) method. This method features an adaptive reward scheme that adjusts hyperparameters based on observed trends in task rewards during training. This scheme reduces the complexity of hyperparameter tuning, requiring a single hyperparameter to guide exploration, thereby simplifying the learning process and lowering deployment costs. We validate the MOSEAC method through simulations in a Newtonian kinematics environment, demonstrating high task and training performance with fewer time steps, ultimately lowering energy consumption. This validation shows that MOSEAC streamlines RL algorithm deployment by automatically tuning the agent control loop frequency using a single parameter. Its principles can be applied to enhance any RL algorithm, making it a versatile solution for various applications.
• Abstract（参考訳）: 従来の強化学習(RL)法は、通常、各サイクルがアクションに対応する固定制御ループを用いる。 この剛性は、最適制御周波数がタスク依存であるため、実用的な応用において課題を生じさせる。 最適以下の選択は、高い計算要求と探索効率の低下につながる可能性がある。 可変時間ステップ強化学習(VTS-RL)は、制御ループに適応周波数を用いることでこれらの問題に対処し、必要な時にのみ動作を実行する。 このアプローチはリアクティブプログラミングの原則に根ざして、計算負荷を減らし、アクション時間を含めることでアクション空間を拡張する。 しかしながら、VTS-RLの実装は、多目的アクションデュレーション空間(すなわち、目標を達成するためにタスク性能と時間ステップのバランスをとる)での探索を司る複数のハイパーパラメータをチューニングする必要があるため、しばしば複雑である。 これらの課題を克服するために、我々はMOSEAC法(Multi-Objective Soft Elastic Actor-Critic)を導入する。 本手法は、トレーニング中のタスク報酬の観測傾向に基づいて、ハイパーパラメータを調整する適応型報酬方式を特徴とする。 このスキームは、ハイパーパラメータチューニングの複雑さを低減し、探索をガイドするために単一のハイパーパラメータを必要とするため、学習プロセスを簡素化し、デプロイメントコストを削減できる。 ニュートンのキネマティクス環境でのシミュレーションによりMOSEAC法の有効性を検証し,より少ない時間ステップで高いタスクと訓練性能を示し,最終的にエネルギー消費を低減した。 この検証により、MOSEACは単一のパラメータを用いてエージェント制御ループ周波数を自動的に調整することで、RLアルゴリズムの展開を効率化する。 その原理は任意のRLアルゴリズムを強化するために適用でき、様々な用途に汎用的な解である。

関連論文リスト

• Overcoming Slow Decision Frequencies in Continuous Control: Model-Based Sequence Reinforcement Learning for Model-Free Control [1.104960878651584]
  本稿では、与えられた入力状態に対するアクションのシーケンスを生成するために設計されたRLアルゴリズムであるSequence Reinforcement Learning(SRL)を紹介する。 SRLは、異なる時間スケールで動作するモデルとアクタークリティカルアーキテクチャの両方を利用することで、アクションシーケンスを学習する際の課題に対処する。 我々は,SRLを一連の連続制御タスクで評価し,その性能が最先端のアルゴリズムに匹敵することを示した。
  論文  参考訳（メタデータ） (2024-10-11T16:54:07Z)
• Sparse Diffusion Policy: A Sparse, Reusable, and Flexible Policy for Robot Learning [61.294110816231886]
  我々はスパース・リユース・フレキシブル・ポリシー、スパース・ディフュージョン・ポリシー(SDP)を導入する。 SDPは、エキスパートとスキルを選択的に活性化し、モデル全体をトレーニングすることなく、効率的でタスク固有の学習を可能にする。 デモとコードはhttps://forrest-110.io/sparse_diffusion_policy/にある。
  論文  参考訳（メタデータ） (2024-07-01T17:59:56Z)
• When to Sense and Control? A Time-adaptive Approach for Continuous-Time RL [37.58940726230092]
  離散時間マルコフ決定過程(MDP)の最適化における強化学習(RL)の特長 この課題に対処するRLフレームワークであるTime-Adaptive Control & Sensing(TaCoS)を形式化する。 我々は、TaCoSで訓練された最先端のRLアルゴリズムが、その離散時間に対する相互作用量を劇的に削減できることを実証した。
  論文  参考訳（メタデータ） (2024-06-03T09:57:18Z)
• Growing Q-Networks: Solving Continuous Control Tasks with Adaptive Control Resolution [51.83951489847344]
  ロボット工学の応用において、スムーズな制御信号はシステム摩耗とエネルギー効率を減らすために一般的に好まれる。 本研究では,離散的な動作空間を粗い状態から細かい制御分解能まで拡大することにより,この性能ギャップを埋めることを目的とする。 我々の研究は、値分解とアダプティブ・コントロール・リゾリューションが組み合わさることで、単純な批判のみのアルゴリズムが得られ、連続制御タスクにおいて驚くほど高い性能が得られることを示唆している。
  論文  参考訳（メタデータ） (2024-04-05T17:58:37Z)
• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• Reinforcement Learning with Elastic Time Steps [14.838483990647697]
  Multi-Objective Soft Elastic Actor-Critic (MOSEAC) は、弾性時間ステップを用いて制御周波数を動的に調整する非政治アクター批判アルゴリズムである。 我々は,MOSEACが理論レベルで収束し,安定なポリシーを生成できることを示し,実時間3Dレースゲームにおける結果を検証する。
  論文  参考訳（メタデータ） (2024-02-22T20:49:04Z)
• Deployable Reinforcement Learning with Variable Control Rate [14.838483990647697]
  可変制御率を持つ強化学習(RL)の変種を提案する。 このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。 ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
  論文  参考訳（メタデータ） (2024-01-17T15:40:11Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Accelerated Policy Learning with Parallel Differentiable Simulation [59.665651562534755]
  微分可能シミュレータと新しいポリシー学習アルゴリズム(SHAC)を提案する。 本アルゴリズムは,スムーズな批判機能により局所最小化の問題を軽減する。 現状のRLと微分可能なシミュレーションベースアルゴリズムと比較して,サンプル効率と壁面時間を大幅に改善した。
  論文  参考訳（メタデータ） (2022-04-14T17:46:26Z)
• Towards Automatic Actor-Critic Solutions to Continuous Control [7.312692481631664]
  本稿では,アクター批判アルゴリズムを新しいドメインにチューニングする進化的アプローチを提案する。 私たちの設計は、サンプル効率が高く、ベースラインアプローチよりも実用的な利点を提供します。 次に、計算と研究の最小限の労力で高性能なソリューションを見つけるために、新しい制御タスクに適用する。
  論文  参考訳（メタデータ） (2021-06-16T16:18:20Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。