論文の概要: Synchronous vs Asynchronous Reinforcement Learning in a Real World Robot

• arxiv url: http://arxiv.org/abs/2503.14554v1
• Date: Mon, 17 Mar 2025 22:24:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:26:10.759130
• Title: Synchronous vs Asynchronous Reinforcement Learning in a Real World Robot
• Title（参考訳）: 実世界ロボットにおける同期/非同期強化学習
• Authors: Ali Parsaee, Fahim Shahriar, Chuxin He, Ruiqing Tan,
• Abstract要約: 強化学習(RL)エージェントは、定期的に計算に高価な勾配更新を実行することで学習する。 急速に変化する環境では、学習エージェントの性能に応答時間の増加が有害となる可能性がある。 非同期RL法は、意思決定と勾配更新の計算を分離する。 実験の結果,エージェントはより高速に学習し,非同期RLでさらに多くのリターンを得ることができた。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In recent times, reinforcement learning (RL) with physical robots has attracted the attention of a wide range of researchers. However, state-of-the-art RL algorithms do not consider that physical environments do not wait for the RL agent to make decisions or updates. RL agents learn by periodically conducting computationally expensive gradient updates. When decision-making and gradient update tasks are carried out sequentially by the RL agent in a physical robot, it significantly increases the agent's response time. In a rapidly changing environment, this increased response time may be detrimental to the performance of the learning agent. Asynchronous RL methods, which separate the computation of decision-making and gradient updates, are a potential solution to this problem. However, only a few comparisons between asynchronous and synchronous RL have been made with physical robots. For this reason, the exact performance benefits of using asynchronous RL methods over synchronous RL methods are still unclear. In this study, we provide a performance comparison between asynchronous and synchronous RL using a physical robotic arm called Franka Emika Panda. Our experiments show that the agents learn faster and attain significantly more returns using asynchronous RL. Our experiments also demonstrate that the learning agent with a faster response time performs better than the agent with a slower response time, even if the agent with a slower response time performs a higher number of gradient updates.
• Abstract（参考訳）: 近年,ロボットによる強化学習 (RL) が研究者の注目を集めている。 しかし、最先端のRLアルゴリズムは、物理環境がRLエージェントが決定や更新を行うのを待たないとは考えていない。 RLエージェントは、定期的に計算コストの高い勾配更新を実行することで学習する。 物理ロボットにおけるRLエージェントによって意思決定および勾配更新タスクが順次実行されると、エージェントの応答時間が大幅に向上する。 急速に変化する環境において、この応答時間の増加は学習エージェントの性能に有害である可能性がある。 意思決定と勾配更新の計算を分離する非同期RL法は、この問題に対する潜在的な解決策である。 しかし、物理ロボットでは、同期RLと非同期RLの比較はわずかしか行われていない。 このため、同期RLメソッドよりも非同期RLメソッドを使うことによる正確なパフォーマンス上の利点は、まだ不明である。 本研究では,Franka Emika Panda(フランカ・エミカ・パンダ)というロボットアームを用いて,非同期と同期のRLの性能比較を行った。 実験の結果,エージェントはより高速に学習し,非同期RLでさらに多くのリターンを得ることができた。 また, 応答時間が遅いエージェントよりも, 応答時間が遅いエージェントの方が, 応答時間が遅いエージェントの方が, より高速な学習エージェントの方が高い勾配更新を行うことを示す。

関連論文リスト

• Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models [11.624678008637623]
  RLHFにおける生成と学習の分離を提案する。 オンラインDPOは、政治以外のデータに対して最も堅牢である。 非同期トレーニングは、オンラインだが非政治的なRLHFという未調査の制度に依存している。
  論文  参考訳（メタデータ） (2024-10-23T19:59:50Z)
• Overcoming Slow Decision Frequencies in Continuous Control: Model-Based Sequence Reinforcement Learning for Model-Free Control [1.104960878651584]
  本稿では、与えられた入力状態に対するアクションのシーケンスを生成するために設計されたRLアルゴリズムであるSequence Reinforcement Learning(SRL)を紹介する。 SRLは、異なる時間スケールで動作するモデルとアクタークリティカルアーキテクチャの両方を利用することで、アクションシーケンスを学習する際の課題に対処する。 我々は,SRLを一連の連続制御タスクで評価し,その性能が最先端のアルゴリズムに匹敵することを示した。
  論文  参考訳（メタデータ） (2024-10-11T16:54:07Z)
• REBEL: Reward Regularization-Based Approach for Robotic Reinforcement Learning from Human Feedback [61.54791065013767]
  報酬関数と人間の嗜好の相違は、現実世界で破滅的な結果をもたらす可能性がある。 近年の手法は、人間の嗜好から報酬関数を学習することで、不適応を緩和することを目的としている。 本稿では,ロボットRLHFフレームワークにおける報酬正規化の新たな概念を提案する。
  論文  参考訳（メタデータ） (2023-12-22T04:56:37Z)
• A Real-World Quadrupedal Locomotion Benchmark for Offline Reinforcement Learning [27.00483962026472]
  現実的な四足歩行データセットにおける11のオフライン強化学習アルゴリズムをベンチマークした。 実験の結果,ORLアルゴリズムはモデルフリーのRLに比べて競争性能がよいことがわかった。 提案するベンチマークは,実世界の歩行作業におけるORLアルゴリズムの性能をテスト・評価するための開発プラットフォームとして機能する。
  論文  参考訳（メタデータ） (2023-09-13T13:18:29Z)
• Asynchronous Multi-Agent Reinforcement Learning for Efficient Real-Time Multi-Robot Cooperative Exploration [16.681164058779146]
  本稿では,複数のロボットが,未知の領域をできるだけ早く探索する必要がある,協調探索の課題について考察する。 既存のMARLベースの手法では、すべてのエージェントが完全に同期的に動作していると仮定して、探索効率の指標としてアクション作成ステップを採用している。 本稿では,非同期MARLソリューションであるAsynchronous Coordination Explorer (ACE)を提案する。
  論文  参考訳（メタデータ） (2023-01-09T14:53:38Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Retrieval-Augmented Reinforcement Learning [63.32076191982944]
  過去の経験のデータセットを最適な行動にマップするために、ネットワークをトレーニングします。 検索プロセスは、現在のコンテキストで有用なデータセットから情報を取得するために訓練される。 検索強化R2D2はベースラインR2D2エージェントよりもかなり高速に学習し,より高いスコアを得ることを示す。
  論文  参考訳（メタデータ） (2022-02-17T02:44:05Z)
• Combining Pessimism with Optimism for Robust and Efficient Model-Based Deep Reinforcement Learning [56.17667147101263]
  実世界のタスクでは、強化学習エージェントはトレーニング中に存在しない状況に遭遇する。 信頼性を確保するため、RLエージェントは最悪の状況に対して堅牢性を示す必要がある。 本稿では,Robust Hallucinated Upper-Confidence RL (RH-UCRL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-18T16:50:17Z)
• High-Throughput Synchronous Deep RL [132.43861715707905]
  HTS-RL(High-Throughput Synchronous Deep Reinforcement Learning)の提案 私たちは同時に学習とロールアウトを行い、古いポリシーを避けるシステム設計を考案します。 我々は,アタリゲームとGoogle Research Football環境に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2020-12-17T18:59:01Z)
• Decoupling Representation Learning from Reinforcement Learning [89.82834016009461]
  Augmented Temporal Contrast (ATC) と呼ばれる教師なし学習タスクを導入する。 ATCは畳み込みエンコーダを訓練し、短い時間差で分離された観測ペアを関連付ける。 オンラインRL実験では,ATCマッチを用いたエンコーダのトレーニングや,エンド・ツー・エンドのRLよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-14T19:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。