論文の概要: Muti-Agent Proximal Policy Optimization For Data Freshness in UAV-assisted Networks

• arxiv url: http://arxiv.org/abs/2303.08680v1
• Date: Wed, 15 Mar 2023 15:03:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-16 18:07:59.954709
• Title: Muti-Agent Proximal Policy Optimization For Data Freshness in UAV-assisted Networks
• Title（参考訳）: UAV支援ネットワークにおけるデータの鮮度に対するマルチエージェント近似最適化
• Authors: Mouhamed Naby Ndiaye, El Houcine Bergou, Hajar El Hammouti
• Abstract要約: 収集したデータが時間に敏感な場合に注目し,そのタイムラインを維持することが重要である。 我々の目標は、UAVの軌道を最適に設計することであり、グローバル・エイジ・オブ・アップデート(AoU)のような訪問するIoTデバイスのサブセットを最小化することである。
• 参考スコア（独自算出の注目度）: 4.042622147977782
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unmanned aerial vehicles (UAVs) are seen as a promising technology to perform a wide range of tasks in wireless communication networks. In this work, we consider the deployment of a group of UAVs to collect the data generated by IoT devices. Specifically, we focus on the case where the collected data is time-sensitive, and it is critical to maintain its timeliness. Our objective is to optimally design the UAVs' trajectories and the subsets of visited IoT devices such as the global Age-of-Updates (AoU) is minimized. To this end, we formulate the studied problem as a mixed-integer nonlinear programming (MINLP) under time and quality of service constraints. To efficiently solve the resulting optimization problem, we investigate the cooperative Multi-Agent Reinforcement Learning (MARL) framework and propose an RL approach based on the popular on-policy Reinforcement Learning (RL) algorithm: Policy Proximal Optimization (PPO). Our approach leverages the centralized training decentralized execution (CTDE) framework where the UAVs learn their optimal policies while training a centralized value function. Our simulation results show that the proposed MAPPO approach reduces the global AoU by at least a factor of 1/2 compared to conventional off-policy reinforcement learning approaches.
• Abstract（参考訳）: 無人航空機(uavs)は、無線通信ネットワークにおいて幅広いタスクを実行する有望な技術と見なされている。 本研究では,IoTデバイスが生成するデータを収集するために,UAVのグループの配置を検討する。 具体的には、収集したデータが時間に敏感な場合に注目し、そのタイムラインを維持することが重要である。 我々の目標は、UAVの軌道を最適に設計することであり、グローバル・エイジ・オブ・アップデート(AoU)のような訪問するIoTデバイスのサブセットを最小化することである。 この目的のために,サービス制約の時間的および品質を考慮した混合整数非線形プログラミング (MINLP) として検討した問題を定式化する。 得られた最適化問題を効率的に解決するために、協調型マルチエージェント強化学習(MARL)フレームワークを調査し、人気の高いオンライン強化学習(RL)アルゴリズムに基づくRLアプローチを提案する。 当社のアプローチでは,UAVが集中値関数をトレーニングしながら最適なポリシを学習する,集中型トレーニング分散実行(CTDE)フレームワークを活用している。 シミュレーションの結果, 提案手法は, 従来のオフポリシー強化学習手法と比較して, グローバルaouを少なくとも1/2削減することが示された。

関連論文リスト

• Joint Optimization of Deployment and Trajectory in UAV and IRS-Assisted IoT Data Collection System [25.32139119893323]
  無人航空機(UAV)は多くのモノのインターネット(IoT)システムに適用できる。 UAV-IoT無線チャネルは、時には木や高層建築物によってブロックされることがある。 本稿では,UAVの展開と軌道を最適化することで,システムのエネルギー消費を最小化することを目的とする。
  論文  参考訳（メタデータ） (2022-10-27T06:27:40Z)
• Unsupervised Model-based Pre-training for Data-efficient Control from Pixels [112.63440666617494]
  データ効率のよい視覚制御のための効果的な教師なしRL戦略を設計する。 まず、教師なしRLを用いて収集したデータで事前訓練された世界モデルにより、将来のタスクへの適応が容易になることを示す。 次に、エージェントの事前学習されたコンポーネントを効果的に再利用し、想像力の学習と計画を行うためのいくつかの設計選択を分析する。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach [56.84948632954274]
  本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。 本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。 提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
  論文  参考訳（メタデータ） (2021-12-20T15:45:28Z)
• Joint Cluster Head Selection and Trajectory Planning in UAV-Aided IoT Networks by Reinforcement Learning with Sequential Model [4.273341750394231]
  我々は、UAVの軌道を共同で設計し、インターネット・オブ・シングス・ネットワークでクラスタ・ヘッドを選択するという問題を定式化する。 本稿では,シーケンス・ツー・シーケンス・ニューラルネットワークで表されるポリシーを効果的に学習できるシーケンシャルモデル戦略を備えた,新しい深層強化学習(DRL)を提案する。 シミュレーションにより,提案したDRL法は,より少ないエネルギー消費を必要とするUAVの軌道を見つけることができることを示した。
  論文  参考訳（メタデータ） (2021-12-01T07:59:53Z)
• Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
  複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。 本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:24:47Z)
• UAV-assisted Online Machine Learning over Multi-Tiered Networks: A Hierarchical Nested Personalized Federated Learning Approach [25.936914508952086]
  地理的分散デバイスクラスタのための無人航空機(UAV)による分散機械学習(ML)を検討する。 i)リーダー,ワーカー,コーディネータによるUAVスワーミング,(ii)階層型ネスト型パーソナライズド・フェデレーション・ラーニング(HN-PFL),(iii)UAVのローカル計算機能を用いた分散MLのための協調的UAVリソースプール,の5つの新しい技術/技術を提案する。
  論文  参考訳（メタデータ） (2021-06-29T21:40:28Z)
• 3D UAV Trajectory and Data Collection Optimisation via Deep Reinforcement Learning [75.78929539923749]
  無人航空機(UAV)は現在、無線通信におけるネットワーク性能とカバレッジを高めるために配備され始めている。 UAV支援モノのインターネット(IoT)のための最適な資源配分方式を得ることは困難である 本稿では,UAVの最も短い飛行経路に依存しつつ,IoTデバイスから収集したデータ量を最大化しながら,新しいUAV支援IoTシステムを設計する。
  論文  参考訳（メタデータ） (2021-06-06T14:08:41Z)
• Distributed CNN Inference on Resource-Constrained UAVs for Surveillance Systems: Design and Optimization [43.9909417652678]
  無人航空機(UAV)は、広い地域をカバーし、困難で危険な目標地域にアクセスする能力のため、ここ数年で大きな関心を集めている。 コンピュータビジョンと機械学習の進歩により、UAVは幅広いソリューションやアプリケーションに採用されている。 ディープニューラルネットワーク(DNN)は、それらがオンボードで実行されるのを防ぐ、より深く複雑なモデルに向かって進んでいる。
  論文  参考訳（メタデータ） (2021-05-23T20:19:43Z)
• Multi-UAV Path Planning for Wireless Data Harvesting with Deep Reinforcement Learning [18.266087952180733]
  本稿では,データ収集ミッションを定義するシナリオパラメータの深い変化に適応できるマルチエージェント強化学習(MARL)手法を提案する。 提案するネットワークアーキテクチャにより,データ収集タスクを慎重に分割することで,エージェントが効果的に協調できることを示す。
  論文  参考訳（メタデータ） (2020-10-23T14:59:30Z)
• Adaptive Serverless Learning [114.36410688552579]
  本研究では,データから学習率を動的に計算できる適応型分散学習手法を提案する。 提案アルゴリズムは, 作業者数に対して線形高速化が可能であることを示す。 通信効率のオーバーヘッドを低減するため,通信効率のよい分散訓練手法を提案する。
  論文  参考訳（メタデータ） (2020-08-24T13:23:02Z)
• Data Freshness and Energy-Efficient UAV Navigation Optimization: A Deep Reinforcement Learning Approach [88.45509934702913]
  我々は、移動基地局(BS)が配備される複数の無人航空機(UAV)のナビゲーションポリシーを設計する。 我々は、地上BSにおけるデータの鮮度を確保するために、エネルギーや情報年齢(AoI)の制約などの異なる文脈情報を組み込んだ。 提案したトレーニングモデルを適用することで、UAV-BSに対する効果的なリアルタイム軌道ポリシーは、時間とともに観測可能なネットワーク状態をキャプチャする。
  論文  参考訳（メタデータ） (2020-02-21T07:29:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。