論文の概要: Graph Attention-based Reinforcement Learning for Trajectory Design and
Resource Assignment in Multi-UAV Assisted Communication
- arxiv url: http://arxiv.org/abs/2401.17880v1
- Date: Wed, 31 Jan 2024 14:37:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 14:14:42.213927
- Title: Graph Attention-based Reinforcement Learning for Trajectory Design and
Resource Assignment in Multi-UAV Assisted Communication
- Title（参考訳）: マルチuav支援通信における軌道設計と資源割り当てのためのグラフ注意型強化学習
- Authors: Zikai Feng, Di Wu, Mengxing Huang, Chau Yuen
- Abstract要約: UAV基地局(UAV BS)が未知の環境で軌道設計と資源割り当てを実現することは困難である。
通信ネットワークにおけるUAV BS間の協調と競合はマルコフゲーム問題に繋がる。
本稿では,マルチUAV支援通信問題を解決するために,新しいグラフアテンション型マルチエージェント信頼領域(GA-MATR)強化学習フレームワークを提案する。
- 参考スコア（独自算出の注目度）: 20.79743323142469
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the multiple unmanned aerial vehicle (UAV)- assisted downlink
communication, it is challenging for UAV base stations (UAV BSs) to realize
trajectory design and resource assignment in unknown environments. The
cooperation and competition between UAV BSs in the communication network leads
to a Markov game problem. Multi-agent reinforcement learning is a significant
solution for the above decision-making. However, there are still many common
issues, such as the instability of the system and low utilization of historical
data, that limit its application. In this paper, a novel graph-attention
multi-agent trust region (GA-MATR) reinforcement learning framework is proposed
to solve the multi-UAV assisted communication problem. Graph recurrent network
is introduced to process and analyze complex topology of the communication
network, so as to extract useful information and patterns from observational
information. The attention mechanism provides additional weighting for conveyed
information, so that the critic network can accurately evaluate the value of
behavior for UAV BSs. This provides more reliable feedback signals and helps
the actor network update the strategy more effectively. Ablation simulations
indicate that the proposed approach attains improved convergence over the
baselines. UAV BSs learn the optimal communication strategies to achieve their
maximum cumulative rewards. Additionally, multi-agent trust region method with
monotonic convergence provides an estimated Nash equilibrium for the multi-UAV
assisted communication Markov game.
- Abstract（参考訳）: 複数の無人航空機(UAV)によるダウンリンク通信では、UAV基地局(UAV BS)が未知の環境で軌道設計と資源割り当てを実現することは困難である。
通信ネットワークにおけるUAV BS間の協調と競合はマルコフゲーム問題につながる。
マルチエージェント強化学習は上記の意思決定において重要な解決法である。
しかし、システムの不安定性や履歴データの低利用など、適用範囲が制限されるような多くの一般的な問題が存在する。
本稿では,マルチuav支援通信問題を解決するために,グラフアテンション多エージェント信頼領域(ga-matr)強化学習フレームワークを提案する。
グラフリカレントネットワークは、観測情報から有用な情報やパターンを抽出するために、通信ネットワークの複雑なトポロジーを処理および分析するために導入された。
注意機構は、伝達された情報に対する付加重み付けを提供するので、批評家ネットワークは、UAV BSの行動価値を正確に評価することができる。
これにより、より信頼性の高いフィードバック信号を提供し、アクタネットワークが戦略をより効果的に更新するのに役立つ。
アブレーションシミュレーションは,提案手法がベースラインの収束性を向上させることを示唆する。
UAV BSは最大累積報酬を達成するために最適な通信戦略を学ぶ。
さらに,単調収束を伴うマルチエージェント信頼領域法は,マルチUAV支援通信マルコフゲームに対して推定ナッシュ平衡を与える。
関連論文リスト
- Predictive Covert Communication Against Multi-UAV Surveillance Using Graph Koopman Autoencoder [27.178522837149053]
低確率検出(LPD)通信は、無線周波数(RF)信号の存在を隠蔽し、監視を回避することを目的としている。
UAVの将来の位置を正確に予測することは、リアルタイムのLPD通信を可能にするために不可欠である。
マルチUAV監視下での地上アドホックネットワークにおける検出可能性の最小化を目的とした,予測被覆通信と呼ばれる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-25T16:02:45Z) - Multi-Agent Reinforcement Learning for Offloading Cellular Communications with Cooperating UAVs [21.195346908715972]
無人航空機は、地上のBSからデータトラフィックをオフロードする代替手段を提供する。
本稿では,地上BSからデータオフロードを行うために,複数のUAVを効率的に利用するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-05T12:36:08Z) - Graph Koopman Autoencoder for Predictive Covert Communication Against
UAV Surveillance [29.15836826461713]
低確率検出(LPD)通信は、無線周波数(RF)信号の存在を曖昧にすることを目的としている。
無人航空機(UAV)は、特定の関心領域をホバリングすることで地上からのRF信号を検出することができる。
本稿では,複数の固定翼UAVの軌跡を予測するために,グラフニューラルネットワーク(GNN)とクープマン理論を組み合わせた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-23T23:42:55Z) - Deep Reinforcement Learning for Interference Management in UAV-based 3D
Networks: Potentials and Challenges [137.47736805685457]
チャネル情報を知らなくても干渉を効果的に軽減できることを示す。
干渉を利用することにより、提案された解決策は民間UAVの継続的な成長を可能にする。
論文 参考訳（メタデータ） (2023-05-11T18:06:46Z) - Attention-based Reinforcement Learning for Real-Time UAV Semantic
Communication [53.46235596543596]
移動地利用者に対する空対地超信頼性・低遅延通信(URLLC)の問題点について検討する。
グラフアテンション交換ネットワーク(GAXNet)を用いたマルチエージェント深層強化学習フレームワークを提案する。
GAXNetは、最先端のベースラインフレームワークと比較して、0.0000001エラー率で6.5倍のレイテンシを実現している。
論文 参考訳（メタデータ） (2021-05-22T12:43:25Z) - Jamming-Resilient Path Planning for Multiple UAVs via Deep Reinforcement
Learning [1.2330326247154968]
無人航空機(UAV)は無線ネットワークの不可欠な部分であると期待されている。
本論文では,複数のセルコネクテッドUAVの衝突のない経路を探索する。
本稿では,オンライン信号対干渉+雑音比マッピングを用いたオフライン時間差学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-04-09T16:52:33Z) - Learning-Based UAV Trajectory Optimization with Collision Avoidance and
Connectivity Constraints [0.0]
無人航空機(UAV)は無線ネットワークの不可欠な部分であると期待されている。
本稿では,衝突回避と無線接続制約による複数UAV軌道最適化問題を再構成する。
この問題を解決するために,分散型深層強化学習手法を提案する。
論文 参考訳（メタデータ） (2021-04-03T22:22:20Z) - Efficient UAV Trajectory-Planning using Economic Reinforcement Learning [65.91405908268662]
UAV間でタスクを分散するための経済取引に触発された新しい強化学習アルゴリズムであるREPlannerを紹介します。
エージェントが協力し、リソースを競うことができるマルチエージェント経済ゲームとして、パス計画問題を策定します。
UAV協力によるタスク分布の計算を行うため、Swarmサイズの変化に対して非常に耐性が高い。
論文 参考訳（メタデータ） (2021-03-03T20:54:19Z) - Distributed Conditional Generative Adversarial Networks (GANs) for
Data-Driven Millimeter Wave Communications in UAV Networks [116.94802388688653]
無人航空機(UAV)無線ネットワークにおけるミリ波(mmWave)通信のための,データ駆動型空対地(A2G)チャネル推定手法を提案する。
実効的なチャネル推定手法を開発し、各UAVは、各ビームフォーミング方向に沿って条件付き生成対向ネットワーク(CGAN)を介してスタンドアロンチャネルモデルを訓練することができる。
分散CGANアーキテクチャに基づく協調的なフレームワークを開発し、各UAVがmmWaveチャネルの分布を協調的に学習できるようにする。
論文 参考訳（メタデータ） (2021-02-02T20:56:46Z) - Data Freshness and Energy-Efficient UAV Navigation Optimization: A Deep
Reinforcement Learning Approach [88.45509934702913]
我々は、移動基地局(BS)が配備される複数の無人航空機(UAV)のナビゲーションポリシーを設計する。
我々は、地上BSにおけるデータの鮮度を確保するために、エネルギーや情報年齢(AoI)の制約などの異なる文脈情報を組み込んだ。
提案したトレーニングモデルを適用することで、UAV-BSに対する効果的なリアルタイム軌道ポリシーは、時間とともに観測可能なネットワーク状態をキャプチャする。
論文 参考訳（メタデータ） (2020-02-21T07:29:15Z) - Federated Learning in the Sky: Joint Power Allocation and Scheduling
with UAV Swarms [98.78553146823829]
無人航空機(UAV)は様々なタスクを実行するために機械学習(ML)を利用する必要がある。
本稿では,UAVスワム内に分散学習(FL)アルゴリズムを実装するための新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2020-02-19T14:04:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。