論文の概要: Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT
Assignment and Dynamic Resource Allocation in Next-Generation HetNets
- arxiv url: http://arxiv.org/abs/2202.13652v1
- Date: Mon, 28 Feb 2022 09:49:44 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-02 03:23:44.453185
- Title: Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT
Assignment and Dynamic Resource Allocation in Next-Generation HetNets
- Title（参考訳）: 次世代ヘットネットにおける複数RATアサインメントと動的リソース割り当てのための階層型多エージェントDRLベースフレームワーク
- Authors: Abdulmalik Alwarafy, Bekir Sait Ciftler, Mohamed Abdallah, Mounir
Hamdi, and Naofal Al-Dhahir
- Abstract要約: 本稿では,次世代無線ネットワーク(HetNets)における共同最適無線アクセス技術(RATs)の割り当てと電力割り当てによるコストアウェアダウンリンク総和率の問題について考察する。
本稿では,DeepRAT(DeepRAT)と呼ばれる階層型多エージェント深層強化学習(DRL)フレームワークを提案する。
特に、DeepRATフレームワークは、問題を2つの主要なステージに分解する: 単一エージェントのDeep Q Networkアルゴリズムを実装するRATs-EDs割り当てステージと、マルチエージェントのDeep Deterministic Policy Gradientを利用するパワー割り当てステージである。
- 参考スコア（独自算出の注目度）: 21.637440368520487
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper considers the problem of cost-aware downlink sum-rate maximization
via joint optimal radio access technologies (RATs) assignment and power
allocation in next-generation heterogeneous wireless networks (HetNets). We
consider a future HetNet comprised of multi-RATs and serving multi-connectivity
edge devices (EDs), and we formulate the problem as mixed-integer non-linear
programming (MINP) problem. Due to the high complexity and combinatorial nature
of this problem and the difficulty to solve it using conventional methods, we
propose a hierarchical multi-agent deep reinforcement learning (DRL)-based
framework, called DeepRAT, to solve it efficiently and learn system dynamics.
In particular, the DeepRAT framework decomposes the problem into two main
stages; the RATs-EDs assignment stage, which implements a single-agent Deep Q
Network (DQN) algorithm, and the power allocation stage, which utilizes a
multi-agent Deep Deterministic Policy Gradient (DDPG) algorithm. Using
simulations, we demonstrate how the various DRL agents efficiently interact to
learn system dynamics and derive the global optimal policy. Furthermore, our
simulation results show that the proposed DeepRAT algorithm outperforms
existing state-of-the-art heuristic approaches in terms of network utility.
Finally, we quantitatively show the ability of the DeepRAT model to quickly and
dynamically adapt to abrupt changes in network dynamics, such as EDs mobility.
- Abstract（参考訳）: 本稿では,次世代ヘテロジニアス無線ネットワーク(HetNets)における無線アクセス技術(RAT)の割り当てと電力割り当てによるコストアウェアダウンリンク最大化の問題について考察する。
我々は,マルチラットとマルチコネクティビティエッジデバイス (eds) を提供する未来のヘトネットを考えるとともに,この問題を混合整数非線形プログラミング (minp) 問題として定式化する。
この問題の複雑さと組合せ性が高く,従来の手法では解決が困難であったため,DeepRATと呼ばれる階層型マルチエージェント深部強化学習(DRL)ベースのフレームワークを提案し,効率よく解き,システムダイナミクスを学習する。
特に、DeepRATフレームワークはこの問題を、単一エージェントのDeep Q Network(DQN)アルゴリズムを実装するRATs-EDs代入ステージと、マルチエージェントのDeep Deterministic Policy Gradient(DDPG)アルゴリズムを使用するパワー割り当てステージの2つの主要なステージに分解する。
シミュレーションを用いて,様々なDRLエージェントが効率よくシステムダイナミクスを学習し,グローバルな最適ポリシーを導出する方法を実証する。
さらにシミュレーションの結果,提案したDeepRATアルゴリズムはネットワークユーティリティの観点から既存の最先端ヒューリスティックアプローチよりも優れていることがわかった。
最後に、EDsモビリティなどのネットワークダイナミクスの急激な変化に対して、DeepRATモデルが迅速かつ動的に適応できることを定量的に示す。
関連論文リスト
- Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。
最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-05-02T01:36:13Z) - Multi-Agent Reinforcement Learning for Power Control in Wireless
Networks via Adaptive Graphs [1.1861167902268832]
多エージェント深部強化学習(MADRL)は、電力制御のような幅広い複雑な最適化問題に対処するための有望な手法として登場した。
本稿では,これらの課題を緩和する有効な手段として,分散エージェント間の通信誘導構造としてグラフを用いることを提案する。
論文 参考訳（メタデータ） (2023-11-27T14:25:40Z) - Multi Agent DeepRL based Joint Power and Subchannel Allocation in IAB
networks [0.0]
統合アクセスとバックハウリング(IRL)は、将来の世代におけるより高いデータレートに対する前例のない要求を満たすための、実行可能なアプローチである。
本稿では,分数ノードに付随する巨大なアクション空間の問題を,Deep Q-Learning Networkを用いて処理する方法を示す。
論文 参考訳（メタデータ） (2023-08-31T21:30:25Z) - Multi-Agent Reinforcement Learning for Network Routing in Integrated
Access Backhaul Networks [0.0]
IABネットワークの遅延を最小化しながらパケット到着率を最大化することを目的としている。
この問題を解決するため、我々はマルチエージェントで部分的に観察されたマルコフ決定プロセス(POMD)を開発した。
A2Cは他の強化学習アルゴリズムよりも優れており、ネットワーク効率が向上し、利己的エージェントの挙動が低下することを示した。
論文 参考訳（メタデータ） (2023-05-12T13:03:26Z) - Distributed-Training-and-Execution Multi-Agent Reinforcement Learning
for Power Control in HetNet [48.96004919910818]
We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。
エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。
このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
論文 参考訳（メタデータ） (2022-12-15T17:01:56Z) - Pervasive Machine Learning for Smart Radio Environments Enabled by
Reconfigurable Intelligent Surfaces [56.35676570414731]
Reconfigurable Intelligent Surfaces(RIS)の新たな技術は、スマート無線環境の実現手段として準備されている。
RISは、無線媒体上の電磁信号の伝搬を動的に制御するための、高度にスケーラブルで低コストで、ハードウェア効率が高く、ほぼエネルギーニュートラルなソリューションを提供する。
このような再構成可能な無線環境におけるRISの密配置に関する大きな課題の1つは、複数の準曲面の効率的な構成である。
論文 参考訳（メタデータ） (2022-05-08T06:21:33Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z) - Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless
Cellular Networks [82.02891936174221]
複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。
本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
論文 参考訳（メタデータ） (2021-11-23T18:24:47Z) - Deep Actor-Critic Learning for Distributed Power Control in Wireless
Mobile Networks [5.930707872313038]
深層強化学習は、教師付きディープラーニングと古典的な最適化に代わるモデルなしの代替手段を提供する。
本稿では,深いアクター・クリティカル・ラーニングの助けを借りて,分散的に実行された連続電力制御アルゴリズムを提案する。
提案した電力制御アルゴリズムを,携帯端末とチャネル条件が急速に変化するタイムスロットシステムに統合する。
論文 参考訳（メタデータ） (2020-09-14T18:29:12Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-07-27T12:38:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。