論文の概要: On Designing Multi-UAV aided Wireless Powered Dynamic Communication via Hierarchical Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2312.07917v1
• Date: Wed, 13 Dec 2023 06:22:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-14 16:35:40.532832
• Title: On Designing Multi-UAV aided Wireless Powered Dynamic Communication via Hierarchical Deep Reinforcement Learning
• Title（参考訳）: 階層的深層強化学習によるマルチUAV支援無線動的通信の設計
• Authors: Ze Yu Zhao and Yue Ling Che and Sheng Luo and Gege Luo and Kaishun Wu and Victor C. M. Leung
• Abstract要約: 複数の無人航空機(UAV)による無線電力通信網(WPCN)の新規設計を提案する。 従来の研究とは異なり、低電力無線ノード(WN)はコヒーレントな収穫-送信プロトコルによく準拠するが、提案したダブルベースWNタイプ更新ルールでは、各WNはEノードとしてWNタイプを動的かつ繰り返し更新することができる。 Tスロット上の全WNの送信データサイズを最大化するために、各UAVは、その軌跡とバイナリ無線エネルギー伝送(WET)決定を個別に決定する。
• 参考スコア（独自算出の注目度）: 42.38221225264733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel design on the wireless powered communication network (WPCN) in dynamic environments under the assistance of multiple unmanned aerial vehicles (UAVs). Unlike the existing studies, where the low-power wireless nodes (WNs) often conform to the coherent harvest-then-transmit protocol, under our newly proposed double-threshold based WN type updating rule, each WN can dynamically and repeatedly update its WN type as an E-node for non-linear energy harvesting over time slots or an I-node for transmitting data over sub-slots. To maximize the total transmission data size of all the WNs over T slots, each of the UAVs individually determines its trajectory and binary wireless energy transmission (WET) decisions over times slots and its binary wireless data collection (WDC) decisions over sub-slots, under the constraints of each UAV's limited on-board energy and each WN's node type updating rule. However, due to the UAVs' tightly-coupled trajectories with their WET and WDC decisions, as well as each WN's time-varying battery energy, this problem is difficult to solve optimally. We then propose a new multi-agent based hierarchical deep reinforcement learning (MAHDRL) framework with two tiers to solve the problem efficiently, where the soft actor critic (SAC) policy is designed in tier-1 to determine each UAV's continuous trajectory and binary WET decision over time slots, and the deep-Q learning (DQN) policy is designed in tier-2 to determine each UAV's binary WDC decisions over sub-slots under the given UAV trajectory from tier-1. Both of the SAC policy and the DQN policy are executed distributively at each UAV. Finally, extensive simulation results are provided to validate the outweighed performance of the proposed MAHDRL approach over various state-of-the-art benchmarks.
• Abstract（参考訳）: 本稿では,複数の無人航空機(uavs)の助けを借りて,動的環境における無線通信ネットワーク(wpcn)の新しい設計を提案する。 従来の研究とは異なり、低電力無線ノード(WN)はコヒーレントな収穫-送信プロトコルによく準拠するが、新たに提案したダブルスレッショルドベースのWNタイプ更新ルールでは、各WNは、時間スロットを経由した非線形エネルギー収穫のためのEノードとして、またサブスロット上でデータを送信するためのIノードとして、WNタイプを動的かつ繰り返し更新することができる。 Tスロット上の全WNの送信データサイズを最大化するために、各UAVは、各UAVの制限されたオンボードエネルギーと各WNのノードタイプ更新ルールの制約の下で、時間スロット上の軌道およびバイナリ無線エネルギー伝送(WET)決定とサブスロット上のバイナリ無線データ収集(WDC)決定を個別に決定する。 しかし、UAVのWETおよびWDC決定との密結合軌道と、各WNの時間変化バッテリエネルギーにより、この問題は最適に解決することが困難である。 次に,マルチエージェントに基づく階層型深層強化学習(MAHDRL)フレームワークを提案し,各UAVの連続軌跡とバイナリWET決定をタイムスロット上で決定するソフトアクタ評論家(SAC)ポリシーをtier-1で設計し,深部Q学習(DQN)ポリシーをtier-2で設計し,各UAVのサブスロットに対するサブスロットに対するバイナリWDC決定をtier-1から決定する。 SACポリシーとDQNポリシーは、それぞれのUAVで分配的に実行される。 最後に,様々な最先端ベンチマークに対して提案したMAHDRL法の性能評価を行うため,広範囲なシミュレーション結果が得られた。

関連論文リスト

• AI-based Radio and Computing Resource Allocation and Path Planning in NOMA NTNs: AoI Minimization under CSI Uncertainty [23.29963717212139]
  高高度プラットフォーム(HAP)と無人航空機(UAV)からなる階層型空中コンピューティングフレームワークを開発する。 タスクスケジューリングは平均AoIを大幅に削減する。 電力割り当ては全ユーザに対して全送信電力を使用する場合と比較して平均AoIに限界効果があることが示されている。
  論文  参考訳（メタデータ） (2023-05-01T11:52:15Z)
• Energy-Efficient Cellular-Connected UAV Swarm Control Optimization [25.299881367750487]
  セル接続型UAVSwarmネットワークにおける2相指令制御(C&C)伝送方式を提案する。 制約付きマルコフ決定過程として問題を定式化し、最適方針を求める。 我々のアルゴリズムは、エネルギー制約下で共通C&Cを受信するUAVの数を最大化することができる。
  論文  参考訳（メタデータ） (2023-03-18T11:42:04Z)
• Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach [56.84948632954274]
  本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。 本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。 提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
  論文  参考訳（メタデータ） (2021-12-20T15:45:28Z)
• Trajectory Design for UAV-Based Internet-of-Things Data Collection: A Deep Reinforcement Learning Approach [93.67588414950656]
  本稿では,無人航空機(UAV)による3D環境におけるIoT(Internet-of-Things)システムについて検討する。 本稿では,TD3-TDCTMアルゴリズムの完成時間最小化のためのトラジェクトリ設計を提案する。 シミュレーションの結果,従来の3つの非学習ベースライン法よりもTD3-TDCTMアルゴリズムの方が優れていることが示された。
  論文  参考訳（メタデータ） (2021-07-23T03:33:29Z)
• Multi-Agent Reinforcement Learning in NOMA-aided UAV Networks for Cellular Offloading [59.32570888309133]
  複数の無人航空機(UAV)によるセルローディングのための新しい枠組みの提案 非直交多重アクセス(NOMA)技術は、無線ネットワークのスペクトル効率をさらに向上するために、各UAVに採用されている。 相互深いQ-network (MDQN) アルゴリズムは,UAVの最適3次元軌道と電力配分を共同で決定するために提案される。
  論文  参考訳（メタデータ） (2020-10-18T20:22:05Z)
• NOMA in UAV-aided cellular offloading: A machine learning approach [59.32570888309133]
  複数の無人航空機(UAV)によるセルローディングのための新しい枠組みの提案 非直交多重アクセス(NOMA)技術は、無線ネットワークのスペクトル効率をさらに向上するために、各UAVに採用されている。 相互深いQ-network (MDQN) アルゴリズムは,UAVの最適3次元軌道と電力配分を共同で決定するために提案される。
  論文  参考訳（メタデータ） (2020-10-18T17:38:48Z)
• Multi-Agent Deep Reinforcement Learning Based Trajectory Planning for Multi-UAV Assisted Mobile Edge Computing [99.27205900403578]
  無人航空機(UAV)支援移動エッジコンピューティング(MEC)フレームワークを提案する。 我々は,全ユーザ機器(UE)の地理的公正性と,各UAVのUE負荷の公平性を共同で最適化することを目的としている。 提案手法は他の従来のアルゴリズムよりもかなり性能が高いことを示す。
  論文  参考訳（メタデータ） (2020-09-23T17:44:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。