論文の概要: Adaptive PD Control using Deep Reinforcement Learning for Local-Remote
Teleoperation with Stochastic Time Delays
- arxiv url: http://arxiv.org/abs/2305.16979v1
- Date: Fri, 26 May 2023 14:34:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 14:16:51.511469
- Title: Adaptive PD Control using Deep Reinforcement Learning for Local-Remote
Teleoperation with Stochastic Time Delays
- Title（参考訳）: 局部遠隔遠隔操作における深部強化学習を用いた適応型PD制御
- Authors: Luc McCutcheon and Saber Fallah
- Abstract要約: ローカルリモートシステムは、ロボットが危険な環境で複雑なタスクを実行できる。
時間遅延はシステムのパフォーマンスと安定性を損なう可能性がある。
本稿では,時間遅れ制御問題に対処するため,強化学習を用いた適応制御手法を提案する。
- 参考スコア（独自算出の注目度）: 5.939410304994348
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Local-remote systems allow robots to execute complex tasks in hazardous
environments such as space and nuclear power stations. However, establishing
accurate positional mapping between local and remote devices can be difficult
due to time delays that can compromise system performance and stability.
Enhancing the synchronicity and stability of local-remote systems is vital for
enabling robots to interact with environments at greater distances and under
highly challenging network conditions, including time delays. We introduce an
adaptive control method employing reinforcement learning to tackle the
time-delayed control problem. By adjusting controller parameters in real-time,
this adaptive controller compensates for stochastic delays and improves
synchronicity between local and remote robotic manipulators.
To improve the adaptive PD controller's performance, we devise a model-based
reinforcement learning approach that effectively incorporates multi-step delays
into the learning framework. Utilizing this proposed technique, the
local-remote system's performance is stabilized for stochastic communication
time-delays of up to 290ms. Our results demonstrate that the suggested
model-based reinforcement learning method surpasses the Soft-Actor Critic and
augmented state Soft-Actor Critic techniques. Access the code at:
https://github.com/CAV-Research-Lab/Predictive-Model-Delay-Correction
- Abstract（参考訳）: ローカルリモートシステムにより、ロボットは宇宙や原子力発電所のような危険な環境で複雑なタスクを実行できる。
しかし、システム性能と安定性を損なうような時間遅延のため、ローカルデバイスとリモートデバイス間の正確な位置マッピングを確立することは困難である。
ローカルリモートシステムの同期性と安定性の強化は、ロボットがより遠く、時間遅延を含む非常に困難なネットワーク条件下で環境と対話できるようにするのに不可欠である。
時間遅れ制御問題に対処するために,強化学習を用いた適応制御手法を提案する。
制御パラメータをリアルタイムで調整することにより、確率的遅延を補償し、局所ロボットマニピュレータと遠隔ロボットマニピュレータの同期性を改善する。
適応型PDコントローラの性能を向上させるため,多段階遅延を効果的に学習フレームワークに組み込むモデルベース強化学習手法を考案した。
提案手法を用いることで,最大290msの確率的通信遅延に対して局部遠隔システムの性能を安定化する。
提案手法は,ソフトアクター批判法と拡張状態のソフトアクター批判法を超越したモデルベース強化学習法を示す。
https://github.com/cav-research-lab/predictive-model-delay-correction コードにアクセスする。
関連論文リスト
- Parameter-Adaptive Approximate MPC: Tuning Neural-Network Controllers without Retraining [50.00291020618743]
この研究は、大規模なデータセットを再計算し、再トレーニングすることなくオンラインチューニングが可能な、新しいパラメータ適応型AMPCアーキテクチャを導入している。
資源制約の厳しいマイクロコントローラ(MCU)を用いた2種類の実カートポールシステムの揺らぎを制御し,パラメータ適応型AMPCの有効性を示す。
これらの貢献は、現実世界のシステムにおけるAMPCの実践的応用に向けた重要な一歩である。
論文 参考訳（メタデータ） (2024-04-08T20:02:19Z) - Integrating DeepRL with Robust Low-Level Control in Robotic Manipulators for Non-Repetitive Reaching Tasks [0.24578723416255746]
ロボット工学では、現代の戦略は学習に基づくもので、複雑なブラックボックスの性質と解釈可能性の欠如が特徴である。
本稿では, 深部強化学習(DRL)に基づく衝突のない軌道プランナと, 自動調整型低レベル制御戦略を統合することを提案する。
論文 参考訳（メタデータ） (2024-02-04T15:54:03Z) - Deployable Reinforcement Learning with Variable Control Rate [14.838483990647697]
可変制御率を持つ強化学習(RL)の変種を提案する。
このアプローチでは、ポリシーは、エージェントが取るべきアクションと、そのアクションに関連する時間ステップの期間を決定する。
ニュートンキネマティクスを用いたエージェントを駆動する概念実証シミュレーションによりSEACの有効性を示す。
論文 参考訳（メタデータ） (2024-01-17T15:40:11Z) - Constant-time Motion Planning with Anytime Refinement for Manipulation [17.543746580669662]
本研究では,CTMP(Constant-time Motion Planners)アルゴリズムと組み合わせたリアルタイム改良手法を提案する。
提案するフレームワークは,定数時間アルゴリズムとして動作するため,ユーザ定義時間しきい値内の初期解を高速に生成する。
任意の時間アルゴリズムとして機能し、割り当てられた時間予算内で、ソリューションの品質を反復的に改善します。
論文 参考訳（メタデータ） (2023-11-01T20:40:10Z) - Improving the Performance of Robust Control through Event-Triggered
Learning [74.57758188038375]
LQR問題における不確実性に直面していつ学習するかを決定するイベントトリガー学習アルゴリズムを提案する。
本研究では,ロバストな制御器ベースライン上での性能向上を数値例で示す。
論文 参考訳（メタデータ） (2022-07-28T17:36:37Z) - SABER: Data-Driven Motion Planner for Autonomously Navigating
Heterogeneous Robots [112.2491765424719]
我々は、データ駆動型アプローチを用いて、異種ロボットチームをグローバルな目標に向けてナビゲートする、エンドツーエンドのオンラインモーションプランニングフレームワークを提案する。
モデル予測制御(SMPC)を用いて,ロボット力学を満たす制御入力を計算し,障害物回避時の不確実性を考慮した。
リカレントニューラルネットワークは、SMPC有限時間地平線解における将来の状態の不確かさを素早く推定するために用いられる。
ディープQ学習エージェントがハイレベルパスプランナーとして機能し、SMPCにロボットを望ましいグローバルな目標に向けて移動させる目標位置を提供する。
論文 参考訳（メタデータ） (2021-08-03T02:56:21Z) - Learning to Control Direct Current Motor for Steering in Real Time via
Reinforcement Learning [2.3554584457413483]
実機と模擬環境の両方においてゴルフカートの位置制御にNFQアルゴリズムを用いる。
シミュレーションでは4分、実際のハードウェアでは11分で制御を成功させました。
論文 参考訳（メタデータ） (2021-07-31T03:24:36Z) - Imitation Learning for Robust and Safe Real-time Motion Planning: A
Contraction Theory Approach [9.35511513240868]
LAG-ROSは、境界外乱によって乱される安全臨界非線形システムのリアルタイムロバストな動作計画アルゴリズムである。
LAG-ROSはリアルタイム計算のためのより速い実行の速度のより高い制御性能そしてタスクの成功率を達成します。
論文 参考訳（メタデータ） (2021-02-25T03:47:15Z) - Learning a Contact-Adaptive Controller for Robust, Efficient Legged
Locomotion [95.1825179206694]
四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。
高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。
確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
論文 参考訳（メタデータ） (2020-09-21T16:49:26Z) - Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot
Locomotion [78.46388769788405]
我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。
誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
論文 参考訳（メタデータ） (2020-02-22T10:15:53Z) - Enhanced Adversarial Strategically-Timed Attacks against Deep
Reinforcement Learning [91.13113161754022]
本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。
実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
論文 参考訳（メタデータ） (2020-02-20T21:39:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。