論文の概要: Constrained Deep Reinforcement Learning for Energy Sustainable Multi-UAV
based Random Access IoT Networks with NOMA
- arxiv url: http://arxiv.org/abs/2002.00073v2
- Date: Wed, 5 Feb 2020 02:03:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 07:04:57.681896
- Title: Constrained Deep Reinforcement Learning for Energy Sustainable Multi-UAV
based Random Access IoT Networks with NOMA
- Title（参考訳）: NOMAを用いた省エネルギーマルチUAV型ランダムアクセスIoTネットワークのための制約付き深層強化学習
- Authors: Sami Khairy, Prasanna Balaprakash, Lin X. Cai, Yu Cheng
- Abstract要約: 太陽エネルギーの無人航空機(UAV)がIoTデバイスからリモートサーバにデータを中継する無線IoTネットワークの大規模チャネルアクセスを改善するために,非直交多重アクセス技術を適用した。
IoTデバイスは、アダプティブ$p$パーセンスタントスロット付きAlohaプロトコルを使用して共有無線チャネルにアクセスし、ソーラーパワーのUAVは、SICを採用して、IoTデバイスから受信した複数のデータをデコードしてアクセス効率を向上させる。
- 参考スコア（独自算出の注目度）: 20.160827428161898
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, we apply the Non-Orthogonal Multiple Access (NOMA) technique
to improve the massive channel access of a wireless IoT network where
solar-powered Unmanned Aerial Vehicles (UAVs) relay data from IoT devices to
remote servers. Specifically, IoT devices contend for accessing the shared
wireless channel using an adaptive $p$-persistent slotted Aloha protocol; and
the solar-powered UAVs adopt Successive Interference Cancellation (SIC) to
decode multiple received data from IoT devices to improve access efficiency. To
enable an energy-sustainable capacity-optimal network, we study the joint
problem of dynamic multi-UAV altitude control and multi-cell wireless channel
access management of IoT devices as a stochastic control problem with multiple
energy constraints. To learn an optimal control policy, we first formulate this
problem as a Constrained Markov Decision Process (CMDP), and propose an online
model-free Constrained Deep Reinforcement Learning (CDRL) algorithm based on
Lagrangian primal-dual policy optimization to solve the CMDP. Extensive
simulations demonstrate that our proposed algorithm learns a cooperative policy
among UAVs in which the altitude of UAVs and channel access probability of IoT
devices are dynamically and jointly controlled to attain the maximal long-term
network capacity while maintaining energy sustainability of UAVs. The proposed
algorithm outperforms Deep RL based solutions with reward shaping to account
for energy costs, and achieves a temporal average system capacity which is
$82.4\%$ higher than that of a feasible DRL based solution, and only $6.47\%$
lower compared to that of the energy-constraint-free system.
- Abstract（参考訳）: 本論文では,太陽熱による無人航空機(UAV)がIoTデバイスからリモートサーバにデータを中継する無線IoTネットワークの大規模チャネルアクセスを改善するために,非直交多重アクセス(Noma)技術を適用する。
具体的には、IoTデバイスは、アダプティブな$p$パーセンスタンススロットのAlohaプロトコルを使用して共有無線チャネルにアクセスし、ソーラーパワーのUAVは、継承干渉キャンセル(SIC)を採用して、IoTデバイスから複数の受信データをデコードしてアクセス効率を向上させる。
エネルギー持続可能なキャパシティ最適化ネットワークを実現するため,複数のエネルギー制約を伴う確率的制御問題として,動的マルチUAV高度制御とIoTデバイスのマルチセル無線チャネルアクセス管理の連立問題を考察した。
最適制御ポリシを学習するために,まず,この問題をCMDP (Constrained Markov Decision Process) として定式化し,ラグランジアン原始双対ポリシー最適化に基づくオンラインモデル自由制約深層強化学習 (CDRL) アルゴリズムを提案する。
大規模なシミュレーションにより,提案アルゴリズムはUAV間の協調政策を学習し,UAVのエネルギー持続可能性を維持しながら,UAVの高度とチャネルアクセス確率を動的に制御し,最大長期ネットワーク容量を達成することができることを示した。
提案アルゴリズムは、エネルギーコストを考慮に入れた報酬形成によるDeep RLベースのソリューションよりも優れており、実現可能なDRLベースのソリューションよりも82.4\%高く、エネルギー制約のないシステムよりもわずか6.47\%低い時間平均システム容量を実現している。
関連論文リスト
- Multi-Objective Optimization for UAV Swarm-Assisted IoT with Virtual
Antenna Arrays [55.736718475856726]
無人航空機(UAV)ネットワークはIoT(Internet-of-Things)を支援するための有望な技術である
既存のUAV支援データ収集および普及スキームでは、UAVはIoTとアクセスポイントの間を頻繁に飛行する必要がある。
協調ビームフォーミングをIoTとUAVに同時に導入し、エネルギーと時間効率のデータ収集と普及を実現した。
論文 参考訳（メタデータ） (2023-08-03T02:49:50Z) - Energy-Efficient Cellular-Connected UAV Swarm Control Optimization [25.299881367750487]
セル接続型UAVSwarmネットワークにおける2相指令制御(C&C)伝送方式を提案する。
制約付きマルコフ決定過程として問題を定式化し、最適方針を求める。
我々のアルゴリズムは、エネルギー制約下で共通C&Cを受信するUAVの数を最大化することができる。
論文 参考訳（メタデータ） (2023-03-18T11:42:04Z) - Sparsity-Aware Intelligent Massive Random Access Control in Open RAN: A
Reinforcement Learning Based Approach [61.74489383629319]
新たなOpen Radio Access Network(O-RAN)におけるデバイスの大量ランダムアクセスは、アクセス制御と管理に大きな課題をもたらします。
閉ループアクセス制御の強化学習(RL)支援方式を提案する。
深部RL支援SAUDは、連続的かつ高次元の状態と行動空間を持つ複雑な環境を解決するために提案されている。
論文 参考訳（メタデータ） (2023-03-05T12:25:49Z) - Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT
Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement
Learning Approach [56.84948632954274]
本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。
本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。
提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
論文 参考訳（メタデータ） (2021-12-20T15:45:28Z) - Deep Reinforcement Learning Based Multidimensional Resource Management
for Energy Harvesting Cognitive NOMA Communications [64.1076645382049]
エネルギー収穫(EH)、認知無線(CR)、非直交多重アクセス(NOMA)の組み合わせはエネルギー効率を向上させるための有望な解決策である。
本稿では,決定論的CR-NOMA IoTシステムにおけるスペクトル,エネルギー,時間資源管理について検討する。
論文 参考訳（メタデータ） (2021-09-17T08:55:48Z) - RIS-assisted UAV Communications for IoT with Wireless Power Transfer
Using Deep Reinforcement Learning [75.677197535939]
無人航空機(UAV)通信をサポートするIoTデバイスのための同時無線電力伝送と情報伝送方式を提案する。
第1フェーズでは、IoTデバイスが無線電力転送を通じてUAVからエネルギーを回収し、第2フェーズでは、UAVが情報伝送を通じてIoTデバイスからデータを収集する。
マルコフ決定過程を定式化し、ネットワーク総和率を最大化する最適化問題を解くために、2つの深い強化学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-08-05T23:55:44Z) - Energy-aware placement optimization of UAV base stations via
decentralized multi-agent Q-learning [3.502112118170715]
航空基地局(UAV-BS)として機能する無人航空機は、ネットワーク需要の増加、既存のインフラの障害点、災害時の地上機器への無線接続を提供するために配備することができる。
バッテリー容量が限られていることを考えると、長時間のカバー作業でUAVのエネルギーを節約することは困難である。
本稿では,各UAV-BSに,地上機器との接続性を最大化し,エネルギー利用の向上を図る自律エージェントを組み込んだ分散Q-ラーニング手法を提案する。
論文 参考訳（メタデータ） (2021-06-01T22:49:42Z) - Data-Driven Random Access Optimization in Multi-Cell IoT Networks with
NOMA [78.60275748518589]
非直交多重アクセス(NOMA)は、5Gネットワーク以降で大規模なマシンタイプ通信(mMTC)を可能にする重要な技術です。
本稿では,高密度空間分散マルチセル無線IoTネットワークにおけるランダムアクセス効率向上のために,NOMAを適用した。
ユーザ期待容量の幾何学的平均を最大化するために,各IoTデバイスの伝送確率を調整したランダムチャネルアクセス管理の新たな定式化を提案する。
論文 参考訳（メタデータ） (2021-01-02T15:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。