論文の概要: UAV-enabled Collaborative Beamforming via Multi-Agent Deep Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2404.07453v1
- Date: Thu, 11 Apr 2024 03:19:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-12 15:08:41.564783
- Title: UAV-enabled Collaborative Beamforming via Multi-Agent Deep Reinforcement Learning
- Title（参考訳）: マルチエージェント深部強化学習によるUAV対応協調ビームフォーミング
- Authors: Saichao Liu, Geng Sun, Jiahui Li, Shuang Liang, Qingqing Wu, Pengfei Wang, Dusit Niyato,
- Abstract要約: 本稿では,UAVを用いた協調ビームフォーミング多目的最適化問題 (UCBMOP) を定式化し,UAVの伝送速度を最大化し,全UAVのエネルギー消費を最小化する。
ヘテロジニアス・エージェント・信頼領域ポリシー最適化(HATRPO)を基本フレームワークとし,改良されたHATRPOアルゴリズム,すなわちHATRPO-UCBを提案する。
- 参考スコア（独自算出の注目度）: 79.16150966434299
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we investigate an unmanned aerial vehicle (UAV)-assistant air-to-ground communication system, where multiple UAVs form a UAV-enabled virtual antenna array (UVAA) to communicate with remote base stations by utilizing collaborative beamforming. To improve the work efficiency of the UVAA, we formulate a UAV-enabled collaborative beamforming multi-objective optimization problem (UCBMOP) to simultaneously maximize the transmission rate of the UVAA and minimize the energy consumption of all UAVs by optimizing the positions and excitation current weights of all UAVs. This problem is challenging because these two optimization objectives conflict with each other, and they are non-concave to the optimization variables. Moreover, the system is dynamic, and the cooperation among UAVs is complex, making traditional methods take much time to compute the optimization solution for a single task. In addition, as the task changes, the previously obtained solution will become obsolete and invalid. To handle these issues, we leverage the multi-agent deep reinforcement learning (MADRL) to address the UCBMOP. Specifically, we use the heterogeneous-agent trust region policy optimization (HATRPO) as the basic framework, and then propose an improved HATRPO algorithm, namely HATRPO-UCB, where three techniques are introduced to enhance the performance. Simulation results demonstrate that the proposed algorithm can learn a better strategy compared with other methods. Moreover, extensive experiments also demonstrate the effectiveness of the proposed techniques.
- Abstract（参考訳）: 本論文では,複数のUAVがUAV対応仮想アンテナアレイ(UVAA)を形成し,協調ビームフォーミングを利用して遠隔基地局と通信する無人空対地通信システムについて検討する。
UAVAの作業効率を向上させるため,UAVを用いた協調ビームフォーミング多目的最適化問題(UCBMOP)を定式化し,全UAVの位置と励起電流重みを最適化することにより,UAVAの伝送速度を同時に最大化し,全UAVのエネルギー消費を最小化する。
この問題は、これらの2つの最適化目標が互いに矛盾し、最適化変数に不一致であるため、難しい。
さらに、システムは動的であり、UAV間の協調は複雑であり、従来の手法では1つのタスクに対して最適化解を計算するのに多くの時間がかかる。
さらに、タスクが変化するにつれて、事前に取得したソリューションは廃止され、無効になる。
これらの問題に対処するために,マルチエージェント深部強化学習(MADRL)を活用し,UCBMOPに対処する。
具体的には,ヘテロジニアス・エージェント・信頼領域ポリシー最適化(HATRPO)を基本フレームワークとし,改良されたHATRPOアルゴリズム,すなわちHATRPO-UCBを提案する。
シミュレーションの結果,提案アルゴリズムは,他の手法と比較して,より優れた戦略を学習できることが示されている。
さらに,提案手法の有効性についても広範な実験を行った。
関連論文リスト
- Wireless Federated Learning over UAV-enabled Integrated Sensing and Communication [2.8203310972866382]
本稿では,無人航空機(UAV)を利用した統合型統合学習(FL)における新しい遅延最適化問題について検討する。
ベンチマーク方式と比較して,システム遅延を最大68.54%削減し,高品質な近似解を求めるため,単純かつ効率的な反復アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-11-01T14:25:24Z) - Multi-UAV Multi-RIS QoS-Aware Aerial Communication Systems using DRL and PSO [34.951735976771765]
無人航空機(UAV)は、地上の利用者に無線サービスを提供する学術・産業の研究者の注目を集めている。
UAVの限られたリソースは、そのようなアプリケーションにUAVを採用する上での課題を引き起こす可能性がある。
システムモデルでは,地域をナビゲートするUAVスワムを考慮し,RISをサポートした地上ユーザへの無線通信により,UAVのカバレッジを向上させる。
論文 参考訳（メタデータ） (2024-06-16T17:53:56Z) - Multi-Agent Reinforcement Learning for Offloading Cellular Communications with Cooperating UAVs [21.195346908715972]
無人航空機は、地上のBSからデータトラフィックをオフロードする代替手段を提供する。
本稿では,地上BSからデータオフロードを行うために,複数のUAVを効率的に利用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-05T12:36:08Z) - Joint User Association, Interference Cancellation and Power Control for
Multi-IRS Assisted UAV Communications [80.35959154762381]
インテリジェント反射面(IRS)支援無人航空機(UAV)通信は、地上基地局の負荷を低コストで軽減することが期待されている。
既存の研究は主に、複数のIRSではなく単一のIRSの配置とリソース割り当てに焦点を当てている。
我々は,共同IRSユーザアソシエーションのための新しい最適化アルゴリズム,UAVの軌道最適化,逐次干渉キャンセル(SIC)復号命令スケジューリング,電力割り当てを提案する。
論文 参考訳（メタデータ） (2023-12-08T01:57:10Z) - UAV Swarm-enabled Collaborative Secure Relay Communications with
Time-domain Colluding Eavesdropper [115.56455278813756]
航空中継機としての無人航空機(UAV)は、インターネットモノ(IoT)ネットワークの補助として事実上魅力的である。
本研究では,UAV基地局と端末端末装置間のセキュアな通信を支援するために,UAVを活用することを目的とする。
論文 参考訳（メタデータ） (2023-10-03T11:47:01Z) - Muti-Agent Proximal Policy Optimization For Data Freshness in
UAV-assisted Networks [4.042622147977782]
収集したデータが時間に敏感な場合に注目し,そのタイムラインを維持することが重要である。
我々の目標は、UAVの軌道を最適に設計することであり、グローバル・エイジ・オブ・アップデート(AoU)のような訪問するIoTデバイスのサブセットを最小化することである。
論文 参考訳（メタデータ） (2023-03-15T15:03:09Z) - Enhanced Teaching-Learning-based Optimization for 3D Path Planning of
Multicopter UAVs [2.0305676256390934]
本稿では,無人航空機(UAV)の新しい経路計画アルゴリズムを提案する。
まず,UAVの移動と安全操作の制約と経路長の要件を組み込んだ目的関数を定義する。
次に, 目的関数の定式化を最小化するために, Multi-subject TLBO というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-05-31T16:00:32Z) - Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT
Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement
Learning Approach [56.84948632954274]
本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。
本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。
提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
論文 参考訳（メタデータ） (2021-12-20T15:45:28Z) - Multi-Agent Deep Reinforcement Learning Based Trajectory Planning for
Multi-UAV Assisted Mobile Edge Computing [99.27205900403578]
無人航空機(UAV)支援移動エッジコンピューティング(MEC)フレームワークを提案する。
我々は,全ユーザ機器(UE)の地理的公正性と,各UAVのUE負荷の公平性を共同で最適化することを目的としている。
提案手法は他の従来のアルゴリズムよりもかなり性能が高いことを示す。
論文 参考訳（メタデータ） (2020-09-23T17:44:07Z) - Data Freshness and Energy-Efficient UAV Navigation Optimization: A Deep
Reinforcement Learning Approach [88.45509934702913]
我々は、移動基地局(BS)が配備される複数の無人航空機(UAV)のナビゲーションポリシーを設計する。
我々は、地上BSにおけるデータの鮮度を確保するために、エネルギーや情報年齢(AoI)の制約などの異なる文脈情報を組み込んだ。
提案したトレーニングモデルを適用することで、UAV-BSに対する効果的なリアルタイム軌道ポリシーは、時間とともに観測可能なネットワーク状態をキャプチャする。
論文 参考訳（メタデータ） (2020-02-21T07:29:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。