論文の概要: Tangled Program Graphs as an alternative to DRL-based control algorithms for UAVs

• arxiv url: http://arxiv.org/abs/2411.05586v1
• Date: Fri, 08 Nov 2024 14:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:53:45.421007
• Title: Tangled Program Graphs as an alternative to DRL-based control algorithms for UAVs
• Title（参考訳）: DRLに基づくUAV制御アルゴリズムの代替としてのTangled Program Graphs
• Authors: Hubert Szolc, Karol Desnos, Tomasz Kryjak,
• Abstract要約: ディープ強化学習(Dep reinforcement Learning, DRL)は、現在、自動運転車の制御において最も一般的なAIベースのアプローチである。 このアプローチには、高い計算要求と低い説明可能性という、いくつかの大きな欠点がある。 本稿では,DRLの代替としてTangled Program Graphs (TPG) を提案する。
• 参考スコア（独自算出の注目度）: 0.43695508295565777
• License:
• Abstract: Deep reinforcement learning (DRL) is currently the most popular AI-based approach to autonomous vehicle control. An agent, trained for this purpose in simulation, can interact with the real environment with a human-level performance. Despite very good results in terms of selected metrics, this approach has some significant drawbacks: high computational requirements and low explainability. Because of that, a DRL-based agent cannot be used in some control tasks, especially when safety is the key issue. Therefore we propose to use Tangled Program Graphs (TPGs) as an alternative for deep reinforcement learning in control-related tasks. In this approach, input signals are processed by simple programs that are combined in a graph structure. As a result, TPGs are less computationally demanding and their actions can be explained based on the graph structure. In this paper, we present our studies on the use of TPGs as an alternative for DRL in control-related tasks. In particular, we consider the problem of navigating an unmanned aerial vehicle (UAV) through the unknown environment based solely on the on-board LiDAR sensor. The results of our work show promising prospects for the use of TPGs in control related-tasks.
• Abstract（参考訳）: ディープ強化学習(Dep reinforcement Learning, DRL)は、現在、自動運転車の制御において最も一般的なAIベースのアプローチである。 シミュレーションにおいてこの目的のために訓練されたエージェントは、人間レベルのパフォーマンスで実環境と対話することができる。 選択されたメトリクスに関して非常に良い結果を得たにもかかわらず、このアプローチには、高い計算要求と低い説明可能性という、いくつかの大きな欠点がある。 このため、DRLベースのエージェントは、特に安全が重要な問題である場合、いくつかの制御タスクでは使用できない。 そこで我々は,制御関連タスクにおける深層強化学習の代替手段として,Tangled Program Graphs (TPG) を提案する。 この方法では、入力信号はグラフ構造に組み合わされた単純なプログラムによって処理される。 結果として、TPGは計算量が少なくなり、その動作はグラフ構造に基づいて説明できる。 本稿では,制御関連タスクにおけるDRLの代替としてTPGを使うことについて検討する。 特に、無人航空機(UAV)をオンボードLiDARセンサーのみをベースとした未知の環境をナビゲートする問題を考える。 本研究の結果から,コントロール関連タスクにおけるTPGの利用が期待できる可能性が示唆された。

関連論文リスト

• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning [61.10299147201369]
  本稿では,Wild デバイス制御エージェントをトレーニングするための新しい自律型 RL 手法である DigiRL を提案する。 VLMベースの評価器を備えた,スケーラブルで並列化可能なAndroid学習環境を構築する。 我々はAndroid-in-the-Wildデータセットを使用してDigiRLの有効性を実証し、RLでトレーニングした1.3B VLMは49.5%の絶対改善を実現した。
  論文  参考訳（メタデータ） (2024-06-14T17:49:55Z)
• ReACT: Reinforcement Learning for Controller Parametrization using B-Spline Geometries [0.0]
  本研究は,N次元B-スプライン測地(BSG)を用いた深部強化学習(DRL)を用いた新しいアプローチを提案する。 本稿では,操作条件に依存する複雑な振る舞いを持つシステムのクラスであるパラメータ変量システムの制御に焦点をあてる。 多数の動作条件に依存するコントローラパラメータをマッピングするために,BSGを導入し,適応処理をより効率的にする。
  論文  参考訳（メタデータ） (2024-01-10T16:27:30Z)
• Modelling, Positioning, and Deep Reinforcement Learning Path Tracking Control of Scaled Robotic Vehicles: Design and Experimental Validation [3.807917169053206]
  スケールされたロボットカーは通常、車両の状態の推定と制御に特化したタスクを含む階層的な制御機構を備えている。 本稿では, (i) フェデレートされた拡張カルマンフィルタ (FEKF) と (ii) エキスパートデモレータを用いて訓練された新しい深部強化学習 (DRL) パストラッキングコントローラを提案する。 実験により検証されたモデルは、(i)FEKFの設計を支援するために使用され、(ii)DRLに基づく経路追跡アルゴリズムをトレーニングするためのデジタルツインとして機能する。
  論文  参考訳（メタデータ） (2024-01-10T14:40:53Z)
• Training Efficient Controllers via Analytic Policy Gradient [44.0762454494769]
  ロボットシステムの制御設計は複雑であり、しばしば軌道を正確に追従するために最適化を解く必要がある。 Model Predictive Control (MPC)のようなオンライン最適化手法は、優れたトラッキング性能を実現するために示されているが、高い計算能力を必要とする。 本稿では,この問題に対処するための分析政策グラディエント(APG)手法を提案する。
  論文  参考訳（メタデータ） (2022-09-26T22:04:35Z)
• Autonomous Platoon Control with Integrated Deep Reinforcement Learning and Dynamic Programming [12.661547303266252]
  小隊に複数の追従車両がある場合、安定的で効率的な車両追従ポリシーを学ぶことはより困難である。 我々は、自律型小隊制御ポリシーを学ぶために統合DRLと動的プログラミングアプローチを採用する。 本研究では,Sweepingを用いたFinite-Horizon-DDPGというアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-15T13:45:47Z)
• Verifying Learning-Based Robotic Navigation Systems [61.01217374879221]
  有効モデル選択に現代検証エンジンをどのように利用できるかを示す。 具体的には、検証を使用して、最適下行動を示す可能性のあるポリシーを検出し、除外する。 我々の研究は、現実世界のロボットにおける準最適DRLポリシーを認識するための検証バックエンドの使用を初めて実証したものである。
  論文  参考訳（メタデータ） (2022-05-26T17:56:43Z)
• Graph Reinforcement Learning for Radio Resource Allocation [13.290246410488727]
  我々は,無線通信における多くの問題に固有の2種類のリレーショナル先行性を活用するために,グラフ強化学習を利用する。 グラフ強化学習フレームワークを体系的に設計するために,まず状態行列を状態グラフに変換する方法を提案する。 次に,所望の置換特性を満たすグラフニューラルネットワークの汎用手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T08:02:54Z)
• Learning Dexterous Manipulation from Suboptimal Experts [69.8017067648129]
  相対エントロピーQラーニング(Relative Entropy Q-Learning、REQ)は、オフラインおよび従来のRLアルゴリズムのアイデアを組み合わせた単純なポリシーアルゴリズムである。 本稿では、REQが、デモから一般の政治外RL、オフラインRL、およびRLにどのように有効であるかを示す。
  論文  参考訳（メタデータ） (2020-10-16T18:48:49Z)
• Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
  線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。 このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
  論文  参考訳（メタデータ） (2019-02-02T20:09:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。