論文の概要: A comparison of RL-based and PID controllers for 6-DOF swimming robots: hybrid underwater object tracking

• arxiv url: http://arxiv.org/abs/2401.16618v1
• Date: Mon, 29 Jan 2024 23:14:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 16:55:21.648242
• Title: A comparison of RL-based and PID controllers for 6-DOF swimming robots: hybrid underwater object tracking
• Title（参考訳）: 6自由度水泳ロボットのRL制御とPID制御の比較:ハイブリッド水中物体追跡
• Authors: Faraz Lotfi, Khalil Virji, Nicholas Dudek, and Gregory Dudek
• Abstract要約: 本稿では,PIDコントローラの代替として,集中型深層Q-network(DQN)コントローラを用いた調査と評価を行う。 我々の主な焦点は、この遷移を水中物体追跡の特定のケースで説明することに集中している。 本実験は,Unityをベースとしたシミュレータで実施し,分離したPIDコントローラ上での集中型RLエージェントの有効性を検証した。
• 参考スコア（独自算出の注目度）: 8.362739554991073
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper, we present an exploration and assessment of employing a centralized deep Q-network (DQN) controller as a substitute for the prevalent use of PID controllers in the context of 6DOF swimming robots. Our primary focus centers on illustrating this transition with the specific case of underwater object tracking. DQN offers advantages such as data efficiency and off-policy learning, while remaining simpler to implement than other reinforcement learning methods. Given the absence of a dynamic model for our robot, we propose an RL agent to control this multi-input-multi-output (MIMO) system, where a centralized controller may offer more robust control than distinct PIDs. Our approach involves initially using classical controllers for safe exploration, then gradually shifting to DQN to take full control of the robot. We divide the underwater tracking task into vision and control modules. We use established methods for vision-based tracking and introduce a centralized DQN controller. By transmitting bounding box data from the vision module to the control module, we enable adaptation to various objects and effortless vision system replacement. Furthermore, dealing with low-dimensional data facilitates cost-effective online learning for the controller. Our experiments, conducted within a Unity-based simulator, validate the effectiveness of a centralized RL agent over separated PID controllers, showcasing the applicability of our framework for training the underwater RL agent and improved performance compared to traditional control methods. The code for both real and simulation implementations is at https://github.com/FARAZLOTFI/underwater-object-tracking.
• Abstract（参考訳）: 本稿では,6DOF水泳ロボットにおけるPIDコントローラの活用の代替として,集中型深度Q-network(DQN)コントローラを用いた調査と評価を行う。 我々の主な焦点は、この遷移を水中物体追跡の特定のケースで説明することに集中している。 DQNは、データ効率や非政治学習などの利点を提供するが、他の強化学習方法よりも実装が簡単である。 ロボットに動的モデルがないことを前提に,このマルチインプットマルチ出力(mimo)システムを制御するためのrlエージェントを提案する。 われわれのアプローチは、最初は古典的なコントローラーを使って安全な探索を行い、その後徐々にDQNに移行してロボットを完全にコントロールする。 水中追跡タスクを視覚と制御モジュールに分割する。 視覚ベースのトラッキングに確立された手法を使用し,集中型dqnコントローラを導入する。 視覚モジュールから制御モジュールへのバウンディングボックスデータの送信により,様々なオブジェクトへの適応と視覚システム置換が可能となる。 さらに、低次元データを扱うことで、コントローラのコスト効率の良いオンライン学習が容易になる。 実験は, 分散したpidコントローラに対する集中型rlエージェントの有効性を検証し, 水中rlエージェントを訓練するためのフレームワークの適用性を示し, 従来の制御手法と比較して性能が向上した。 実およびシミュレーション実装のコードはhttps://github.com/farazlotfi/underwater-object-trackingにある。

関連論文リスト

• Modelling, Positioning, and Deep Reinforcement Learning Path Tracking Control of Scaled Robotic Vehicles: Design and Experimental Validation [3.807917169053206]
  スケールされたロボットカーは通常、車両の状態の推定と制御に特化したタスクを含む階層的な制御機構を備えている。 本稿では, (i) フェデレートされた拡張カルマンフィルタ (FEKF) と (ii) エキスパートデモレータを用いて訓練された新しい深部強化学習 (DRL) パストラッキングコントローラを提案する。 実験により検証されたモデルは、(i)FEKFの設計を支援するために使用され、(ii)DRLに基づく経路追跡アルゴリズムをトレーニングするためのデジタルツインとして機能する。
  論文  参考訳（メタデータ） (2024-01-10T14:40:53Z)
• Reaching the Limit in Autonomous Racing: Optimal Control versus Reinforcement Learning [66.10854214036605]
  ロボット工学における中心的な問題は、アジャイルなモバイルロボットの制御システムをどうやって設計するかである。 本稿では、強化学習(RL)で訓練されたニューラルネットワークコントローラが最適制御(OC)法より優れていることを示す。 その結果、アジャイルドローンを最大性能に押し上げることができ、最大加速速度は重力加速度の12倍以上、ピーク速度は時速108kmに達しました。
  論文  参考訳（メタデータ） (2023-10-17T02:40:27Z)
• Value function estimation using conditional diffusion models for control [62.27184818047923]
  拡散値関数(DVF)と呼ばれる単純なアルゴリズムを提案する。 拡散モデルを用いて環境-ロボット相互作用の連成多段階モデルを学ぶ。 本稿では,DVFを用いて複数のコントローラの状態を効率よく把握する方法を示す。
  論文  参考訳（メタデータ） (2023-06-09T18:40:55Z)
• In-Distribution Barrier Functions: Self-Supervised Policy Filters that Avoid Out-of-Distribution States [84.24300005271185]
  本稿では,任意の参照ポリシーをラップした制御フィルタを提案する。 本手法は、トップダウンとエゴセントリックの両方のビュー設定を含むシミュレーション環境における2つの異なるビズモータ制御タスクに有効である。
  論文  参考訳（メタデータ） (2023-01-27T22:28:19Z)
• Skip Training for Multi-Agent Reinforcement Learning Controller for Industrial Wave Energy Converters [94.84709449845352]
  近年のウェーブ・エナジー・コンバータ(WEC)は、発電を最大化するために複数の脚と発電機を備えている。 従来のコントローラは複雑な波のパターンを捕捉する制限を示しており、コントローラはエネルギー捕獲を効率的に最大化する必要がある。 本稿では,従来のスプリングダンパよりも優れたマルチエージェント強化学習コントローラ(MARL)を提案する。
  論文  参考訳（メタデータ） (2022-09-13T00:20:31Z)
• Deep Reinforcement Learning with Shallow Controllers: An Experimental Application to PID Tuning [3.9146761527401424]
  実際の物理システム上での最先端RLアルゴリズムの実現における課題について述べる。 私たちのアプローチの核心は、トレーニング可能なRLポリシーとしてPIDコントローラを使用することです。
  論文  参考訳（メタデータ） (2021-11-13T18:48:28Z)
• Data-Efficient Deep Reinforcement Learning for Attitude Control of Fixed-Wing UAVs: Field Experiments [0.37798600249187286]
  DRLは、元の非線形力学を直接操作する固定翼UAVの姿勢制御をうまく学べることを示す。 我々は,UAVで学習したコントローラを飛行試験で展開し,最先端のArduPlane比例積分微分(PID)姿勢制御と同等の性能を示す。
  論文  参考訳（メタデータ） (2021-11-07T19:07:46Z)
• Machine Learning for Mechanical Ventilation Control [52.65490904484772]
  圧制御換気における侵襲的機械式換気装置の制御の問題点を考察する。 PIDコントローラは、臨床医が指定する気道圧の軌跡に従って、鎮静患者の肺の空気を入出させる必要があります。 制御器は、PID制御器よりも目標圧力波形をかなりよく追跡できることを示す。
  論文  参考訳（メタデータ） (2021-02-12T21:23:33Z)
• Learning of Long-Horizon Sparse-Reward Robotic Manipulator Tasks with Base Controllers [26.807673929816026]
  本稿では,1つ以上の従来型ベースコントローラを用いた長軸スパース・リワードタスクの学習手法を提案する。 提案アルゴリズムは,既存のベースコントローラを探索,価値学習,ポリシー更新の段階に組み込む。 我々の方法は、既存の産業用ロボット操作システムを利用して、より柔軟でインテリジェントなコントローラを構築する可能性を秘めている。
  論文  参考訳（メタデータ） (2020-11-24T14:23:57Z)
• Learning a Contact-Adaptive Controller for Robust, Efficient Legged Locomotion [95.1825179206694]
  四足歩行ロボットのためのロバストコントローラを合成するフレームワークを提案する。 高レベルコントローラは、環境の変化に応じてプリミティブのセットを選択することを学習する。 確立された制御方法を使用してプリミティブを堅牢に実行する低レベルコントローラ。
  論文  参考訳（メタデータ） (2020-09-21T16:49:26Z)
• AirCapRL: Autonomous Aerial Human Motion Capture using Deep Reinforcement Learning [38.429105809093116]
  自律型空中人体モーションキャプチャ(MoCap)のための深部強化学習(RL)に基づくマルチロボット生成コントローラを提案する。 視覚に基づくMoCapに焦点をあて,体ポーズの軌跡を推定し,複数の空飛ぶ車を用いて1人の動く人物を形作る。
  論文  参考訳（メタデータ） (2020-07-13T12:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。