論文の概要: Navigation in a simplified Urban Flow through Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2409.17922v1
• Date: Thu, 26 Sep 2024 15:05:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-28 17:03:54.334272
• Title: Navigation in a simplified Urban Flow through Deep Reinforcement Learning
• Title（参考訳）: 深部強化学習による簡易都市流れのナビゲーション
• Authors: Federica Tonti, Jean Rabault, Ricardo Vinuesa,
• Abstract要約: 都市環境における無人航空機(UAV)は、環境への影響を最小限に抑える戦略を必要とする。 我々の目標は、都市環境下での無人航法を可能にするDRLアルゴリズムを開発することである。
• 参考スコア（独自算出の注目度）: 0.9217021281095907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing number of unmanned aerial vehicles (UAVs) in urban environments requires a strategy to minimize their environmental impact, both in terms of energy efficiency and noise reduction. In order to reduce these concerns, novel strategies for developing prediction models and optimization of flight planning, for instance through deep reinforcement learning (DRL), are needed. Our goal is to develop DRL algorithms capable of enabling the autonomous navigation of UAVs in urban environments, taking into account the presence of buildings and other UAVs, optimizing the trajectories in order to reduce both energetic consumption and noise. This is achieved using fluid-flow simulations which represent the environment in which UAVs navigate and training the UAV as an agent interacting with an urban environment. In this work, we consider a domain domain represented by a two-dimensional flow field with obstacles, ideally representing buildings, extracted from a three-dimensional high-fidelity numerical simulation. The presented methodology, using PPO+LSTM cells, was validated by reproducing a simple but fundamental problem in navigation, namely the Zermelo's problem, which deals with a vessel navigating in a turbulent flow, travelling from a starting point to a target location, optimizing the trajectory. The current method shows a significant improvement with respect to both a simple PPO and a TD3 algorithm, with a success rate (SR) of the PPO+LSTM trained policy of 98.7%, and a crash rate (CR) of 0.1%, outperforming both PPO (SR = 75.6%, CR=18.6%) and TD3 (SR=77.4% and CR=14.5%). This is the first step towards DRL strategies which will guide UAVs in a three-dimensional flow field using real-time signals, making the navigation efficient in terms of flight time and avoiding damages to the vehicle.
• Abstract（参考訳）: 都市環境における無人航空機(UAV)の増加は、エネルギー効率と騒音低減の両面で環境への影響を最小限に抑える戦略を必要とする。 これらの懸念を緩和するためには、例えば深層強化学習(DRL)を通じて、予測モデルの開発と飛行計画の最適化のための新しい戦略が必要である。 我々の目標は、都市環境における無人航空機の自律航法を可能にするDRLアルゴリズムを開発し、建物や他のUAVの存在を考慮し、エネルギー消費と騒音の両方を減らすために軌道を最適化することである。 これは、UAVが都市環境と相互作用するエージェントとしてUAVをナビゲートし、訓練する環境を表す流体流シミュレーションを用いて達成される。 本研究では,3次元高忠実度数値シミュレーションから抽出した建物を理想的に表現し,障害物を伴う2次元流れ場に代表される領域を考察する。 提案手法はPPO+LSTM細胞を用いて,乱流中を航行する船舶を出発点から目標地点へ移動し,軌道を最適化するゼルメロ問題(Zermelo's problem)を再現して検証した。 現在の手法では、単純なPPOとTD3アルゴリズムの両方に対して、PPO+LSTMトレーニングポリシーの成功率(SR)が98.7%、クラッシュ率(CR)が0.1%で、PPO(SR = 75.6%、CR=18.6%)とTD3(SR=77.4%、CR=14.5%)の両方を上回っている。 これは、リアルタイム信号を用いた3次元流れ場におけるUAVを誘導するDRL戦略への第一歩であり、航法を飛行時間の観点から効率よくし、車両の損傷を避ける。

関連論文リスト

• Shrinking POMCP: A Framework for Real-Time UAV Search and Rescue [10.399964979693996]
  本稿では,UAVによる周辺地域の捜索救助活動の最適化に包括的アプローチを提案する。 経路計画問題は部分的に観測可能なマルコフ決定過程(POMDP)として定式化される 本稿では,時間制約に対処する新しいShrinking POMCP'アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-20T01:41:29Z)
• ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
  既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。 本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。 私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• Meta Reinforcement Learning for Strategic IoT Deployments Coverage in Disaster-Response UAV Swarms [5.57865728456594]
  無人航空機(UAV)は、重要な緊急用途に使用される可能性があるとして、学術や産業の研究者の注目を集めている。 これらのアプリケーションには、地上のユーザーに無線サービスを提供し、災害の影響を受けた地域からデータを収集する機能が含まれる。 UAVの限られた資源、エネルギー予算、厳格なミッション完了時間は、これらの用途にUAVを採用する際の課題を提起している。
  論文  参考訳（メタデータ） (2024-01-20T05:05:39Z)
• VAPOR: Legged Robot Navigation in Outdoor Vegetation Using Offline Reinforcement Learning [53.13393315664145]
  本研究では,非構造で密集した屋外環境における自律脚ロボットナビゲーションのための新しい手法であるVAPORを提案する。 本手法は,アクター・クリティカル・ネットワークと実際の屋外植生で収集された任意のデータを用いて,新しいRLポリシーを訓練する。 VAPORの動作は成功率を最大40%向上させ、平均電流消費量を最大2.9%削減し、正規化軌道長を最大11.2%削減する。
  論文  参考訳（メタデータ） (2023-09-14T16:21:27Z)
• Trajectory Design for UAV-Based Internet-of-Things Data Collection: A Deep Reinforcement Learning Approach [93.67588414950656]
  本稿では,無人航空機(UAV)による3D環境におけるIoT(Internet-of-Things)システムについて検討する。 本稿では,TD3-TDCTMアルゴリズムの完成時間最小化のためのトラジェクトリ設計を提案する。 シミュレーションの結果,従来の3つの非学習ベースライン法よりもTD3-TDCTMアルゴリズムの方が優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-23T03:33:29Z)
• Distributed Multi-agent Meta Learning for Trajectory Design in Wireless Drone Networks [151.27147513363502]
  本稿では,動的無線ネットワーク環境で動作するエネルギー制約型ドローン群に対する軌道設計の問題点について検討する。 値ベース強化学習(VDRL)ソリューションとメタトレイン機構を提案する。
  論文  参考訳（メタデータ） (2020-12-06T01:30:12Z)
• Congestion-aware Evacuation Routing using Augmented Reality Devices [96.68280427555808]
  複数の目的地間でリアルタイムに個別の避難経路を生成する屋内避難のための渋滞対応ルーティングソリューションを提案する。 建物内の混雑分布をモデル化するために、ユーザエンド拡張現実(AR)デバイスから避難者の位置を集約して、オンザフライで取得した人口密度マップを用いる。
  論文  参考訳（メタデータ） (2020-04-25T22:54:35Z)
• Learning in the Sky: An Efficient 3D Placement of UAVs [0.8399688944263842]
  本稿では,地上のセルネットワークをダウンリンクで支援するUAVの3次元展開のための学習機構を提案する。 この問題は、満足度のあるUAV間での非協調ゲームとしてモデル化されている。 この問題を解決するために,不満足なUAVが学習アルゴリズムに基づいて位置情報を更新する,低複雑性アルゴリズムを用いる。
  論文  参考訳（メタデータ） (2020-03-02T15:16:00Z)
• Data Freshness and Energy-Efficient UAV Navigation Optimization: A Deep Reinforcement Learning Approach [88.45509934702913]
  我々は、移動基地局(BS)が配備される複数の無人航空機(UAV)のナビゲーションポリシーを設計する。 我々は、地上BSにおけるデータの鮮度を確保するために、エネルギーや情報年齢(AoI)の制約などの異なる文脈情報を組み込んだ。 提案したトレーニングモデルを適用することで、UAV-BSに対する効果的なリアルタイム軌道ポリシーは、時間とともに観測可能なネットワーク状態をキャプチャする。
  論文  参考訳（メタデータ） (2020-02-21T07:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。