論文の概要: Hierarchical Multi-Agent DRL Based Dynamic Cluster Reconfiguration for UAV Mobility Management
- arxiv url: http://arxiv.org/abs/2412.16167v1
- Date: Thu, 05 Dec 2024 19:20:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-29 08:57:48.796093
- Title: Hierarchical Multi-Agent DRL Based Dynamic Cluster Reconfiguration for UAV Mobility Management
- Title（参考訳）: 階層型マルチエージェントDRLを用いたUAVモビリティ管理のための動的クラスタ再構成
- Authors: Irshad A. Meer, Karl-Ludwig Besser, Mustafa Ozger, Dominic Schupke, H. Vincent Poor, Cicek Cavdar,
- Abstract要約: マルチコネクション性には、分散アクセスポイント(AP)間の動的クラスタ形成と、これらのAPからのリソース割り当ての調整が含まれる。
本研究では,エネルギー効率のよい動的クラスタ再構成を用いた無人航空機(UAV)の移動性管理手法を提案する。
- 参考スコア（独自算出の注目度）: 46.80160709931929
- License:
- Abstract: Multi-connectivity involves dynamic cluster formation among distributed access points (APs) and coordinated resource allocation from these APs, highlighting the need for efficient mobility management strategies for users with multi-connectivity. In this paper, we propose a novel mobility management scheme for unmanned aerial vehicles (UAVs) that uses dynamic cluster reconfiguration with energy-efficient power allocation in a wireless interference network. Our objective encompasses meeting stringent reliability demands, minimizing joint power consumption, and reducing the frequency of cluster reconfiguration. To achieve these objectives, we propose a hierarchical multi-agent deep reinforcement learning (H-MADRL) framework, specifically tailored for dynamic clustering and power allocation. The edge cloud connected with a set of APs through low latency optical back-haul links hosts the high-level agent responsible for the optimal clustering policy, while low-level agents reside in the APs and are responsible for the power allocation policy. To further improve the learning efficiency, we propose a novel action-observation transition-driven learning algorithm that allows the low-level agents to use the action space from the high-level agent as part of the local observation space. This allows the lower-level agents to share partial information about the clustering policy and allocate the power more efficiently. The simulation results demonstrate that our proposed distributed algorithm achieves comparable performance to the centralized algorithm. Additionally, it offers better scalability, as the decision time for clustering and power allocation increases by only 10% when doubling the number of APs, compared to a 90% increase observed with the centralized approach.
- Abstract（参考訳）: マルチコネクション性には、分散アクセスポイント(AP)間の動的クラスタ形成と、これらのAPからの調整されたリソース割り当てが含まれており、マルチコネクション性を持つユーザのための効率的なモビリティ管理戦略の必要性を強調している。
本稿では,無線干渉ネットワークにおけるエネルギー効率の高い配電を伴う動的クラスタ再構成を用いた無人航空機(UAV)の移動性管理手法を提案する。
我々の目的は、厳密な信頼性要求の達成、共同電力消費の最小化、クラスタ再構成の頻度の低減を含む。
これらの目的を達成するために,動的クラスタリングやパワーアロケーションに適した階層型マルチエージェント深層強化学習(H-MADRL)フレームワークを提案する。
低レイテンシ光バックホールリンクを介してAPの集合に接続されたエッジクラウドは、最適なクラスタリングポリシーに責任を持つハイレベルエージェントをホストし、低レベルエージェントはAPに常駐し、電力割り当てポリシーに責任を持つ。
学習効率をさらに向上するために,局所的な観測空間の一部として,低レベルのエージェントが高レベルのエージェントからアクション空間を利用することのできる,アクションオブザーブレーション・トランジション駆動学習アルゴリズムを提案する。
これにより、低レベルのエージェントがクラスタリングポリシーに関する部分的な情報を共有し、より効率的に電力を割り当てることが可能になる。
シミュレーションの結果,提案した分散アルゴリズムは集中型アルゴリズムに匹敵する性能を示した。
さらに、集中型アプローチで観察される90%の増加と比較して、クラスタリングと電力割り当ての決定時間が2倍になった場合、10%しか増加しないため、スケーラビリティも向上する。
関連論文リスト
- MAGNNET: Multi-Agent Graph Neural Network-based Efficient Task Allocation for Autonomous Vehicles with Deep Reinforcement Learning [2.5022287664959446]
本稿では,グラフニューラルネットワーク(GNN)を一元的トレーニングと分散実行(CTDE)パラダイムに統合する新しいフレームワークを提案する。
本手法により,無人航空機 (UAV) と無人地上車両 (UGV) は, 中央調整を必要とせず, 効率よくタスクを割り当てることができる。
論文 参考訳（メタデータ） (2025-02-04T13:29:56Z) - Hierarchical Reinforcement Learning for Optimal Agent Grouping in Cooperative Systems [0.4759142872591625]
本稿では,協調型マルチエージェントシステムにおけるエージェントグループ化やペアリングの問題に対処するための階層型強化学習(RL)手法を提案する。
階層的なRLフレームワークを用いることで、グループ化の高レベル決定と低レベルのエージェントのアクションを区別する。
エージェント間の均質性や協調性を扱うために、置換型ニューラルネットワークを導入し、効果的な協調を可能にする。
論文 参考訳（メタデータ） (2025-01-11T14:22:10Z) - Cluster-Based Multi-Agent Task Scheduling for Space-Air-Ground Integrated Networks [60.085771314013044]
低高度経済は、コミュニケーションやセンシングなどの分野で発展する大きな可能性を秘めている。
本稿では,SAGINにおけるマルチUAV協調タスクスケジューリング問題に対処するため,クラスタリングに基づく多エージェントDeep Deterministic Policy Gradient (CMADDPG)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-12-14T06:17:33Z) - Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。
STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。
複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
論文 参考訳（メタデータ） (2024-06-19T07:17:04Z) - Distributed-Training-and-Execution Multi-Agent Reinforcement Learning
for Power Control in HetNet [48.96004919910818]
We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。
エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。
このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
論文 参考訳（メタデータ） (2022-12-15T17:01:56Z) - Decentralized Federated Reinforcement Learning for User-Centric Dynamic
TFDD Control [37.54493447920386]
非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。
分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。
本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-11-04T07:39:21Z) - Artificial Intelligence Empowered Multiple Access for Ultra Reliable and
Low Latency THz Wireless Networks [76.89730672544216]
テラヘルツ(THz)無線ネットワークは、第5世代(B5G)以上の時代を触媒すると予想されている。
いくつかのB5Gアプリケーションの超信頼性と低レイテンシ要求を満たすためには、新しいモビリティ管理アプローチが必要である。
本稿では、インテリジェントなユーザアソシエーションとリソースアロケーションを実現するとともに、フレキシブルで適応的なモビリティ管理を可能にする、全体論的MAC層アプローチを提案する。
論文 参考訳（メタデータ） (2022-08-17T03:00:24Z) - Distributed Voltage Regulation of Active Distribution System Based on
Enhanced Multi-agent Deep Reinforcement Learning [9.7314654861242]
本稿では,スペクトルクラスタリングと拡張マルチエージェント深部強化学習(MADRL)アルゴリズムに基づくデータ駆動分散電圧制御手法を提案する。
提案手法は,システムパラメータの通信と知識の要求を大幅に低減することができる。
また、不確実性を効果的に処理し、最新のローカル情報に基づいたオンライン協調制御を提供する。
論文 参考訳（メタデータ） (2020-05-31T15:48:27Z) - Optimization-driven Deep Reinforcement Learning for Robust Beamforming
in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。
我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。
過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文 参考訳（メタデータ） (2020-05-25T01:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。