論文の概要: Imperfect Digital Twin Assisted Low Cost Reinforcement Training for Multi-UAV Networks

• arxiv url: http://arxiv.org/abs/2310.16302v1
• Date: Wed, 25 Oct 2023 02:19:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 17:20:28.806566
• Title: Imperfect Digital Twin Assisted Low Cost Reinforcement Training for Multi-UAV Networks
• Title（参考訳）: マルチUAVネットワークのための不完全なディジタル双極子支援低コスト強化訓練
• Authors: Xiucheng Wang, Nan Cheng, Longfei Ma, Zhisheng Yin, Tom. Luan, Ning Lu
• Abstract要約: デジタルツイン(DT)技術は、物理空間の特徴に対処して構築されたデジタル空間におけるアルゴリズムの性能をシミュレートすることができる。 マルチUAVネットワークのトレーニングを支援するための偏差のある不完全なDTモデルを考える。 特筆すべきは, トレーニングコスト, DT建設コスト, DTの偏差がトレーニングに与える影響をトレードオフするために, 自然および事実上発生するUAV混合配置法を提案することである。
• 参考スコア（独自算出の注目度）: 13.36612800492876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Reinforcement Learning (DRL) is widely used to optimize the performance of multi-UAV networks. However, the training of DRL relies on the frequent interactions between the UAVs and the environment, which consumes lots of energy due to the flying and communication of UAVs in practical experiments. Inspired by the growing digital twin (DT) technology, which can simulate the performance of algorithms in the digital space constructed by coping features of the physical space, the DT is introduced to reduce the costs of practical training, e.g., energy and hardware purchases. Different from previous DT-assisted works with an assumption of perfect reflecting real physics by virtual digital, we consider an imperfect DT model with deviations for assisting the training of multi-UAV networks. Remarkably, to trade off the training cost, DT construction cost, and the impact of deviations of DT on training, the natural and virtually generated UAV mixing deployment method is proposed. Two cascade neural networks (NN) are used to optimize the joint number of virtually generated UAVs, the DT construction cost, and the performance of multi-UAV networks. These two NNs are trained by unsupervised and reinforcement learning, both low-cost label-free training methods. Simulation results show the training cost can significantly decrease while guaranteeing the training performance. This implies that an efficient decision can be made with imperfect DTs in multi-UAV networks.
• Abstract（参考訳）: Deep Reinforcement Learning (DRL)は、マルチUAVネットワークの性能を最適化するために広く使われている。 しかし、DRLの訓練はUAVと環境の間の頻繁な相互作用に依存しており、実際の実験ではUAVの飛行と通信のために多くのエネルギーを消費している。 物理空間の特徴に対処して構築されたデジタル空間におけるアルゴリズムの性能をシミュレートするデジタルツイン(DT)技術にインスパイアされたDTは、エネルギーやハードウェア購入といった実用的なトレーニングコストを削減するために導入された。 仮想デジタルによる物理の完全な反映を前提とした従来のDT支援作品とは違い,マルチUAVネットワークのトレーニングを支援するための偏差のある不完全なDTモデルを考える。 特筆すべきは, トレーニングコスト, DT建設コスト, DTの偏差がトレーニングに与える影響をトレードオフするために, 自然および事実上発生するUAV混合配置法を提案することである。 2つのカスケードニューラルネットワーク(NN)は、仮想的に生成されたUAVの結合数、DT構築コスト、マルチUAVネットワークの性能を最適化するために使用される。 これら2つのnnは教師なし学習と強化学習によって訓練される。 シミュレーションの結果,トレーニング性能を保証しながらトレーニングコストを大幅に削減できることがわかった。 これは、マルチUAVネットワークにおける不完全なDTで効率的な決定をすることができることを意味する。

関連論文リスト

• Parallel Digital Twin-driven Deep Reinforcement Learning for User Association and Load Balancing in Dynamic Wireless Networks [17.041443813376546]
  ネットワークにおけるユーザアソシエーションとロードバランシングのための並列ディジタルツイン(DT)駆動DRL法を提案する。 提案手法では,分散DRL戦略を用いて様々なユーザ数を処理するとともに,より高速な収束を実現するために改良されたニューラルネットワーク構造を利用する。 並列DT駆動DRL法は実環境訓練と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T04:54:48Z)
• UAV-enabled Collaborative Beamforming via Multi-Agent Deep Reinforcement Learning [79.16150966434299]
  本稿では,UAVを用いた協調ビームフォーミング多目的最適化問題 (UCBMOP) を定式化し,UAVの伝送速度を最大化し,全UAVのエネルギー消費を最小化する。 ヘテロジニアス・エージェント・信頼領域ポリシー最適化(HATRPO)を基本フレームワークとし,改良されたHATRPOアルゴリズム,すなわちHATRPO-UCBを提案する。
  論文  参考訳（メタデータ） (2024-04-11T03:19:22Z)
• Multi-Objective Optimization for UAV Swarm-Assisted IoT with Virtual Antenna Arrays [55.736718475856726]
  無人航空機(UAV)ネットワークはIoT(Internet-of-Things)を支援するための有望な技術である 既存のUAV支援データ収集および普及スキームでは、UAVはIoTとアクセスポイントの間を頻繁に飛行する必要がある。 協調ビームフォーミングをIoTとUAVに同時に導入し、エネルギーと時間効率のデータ収集と普及を実現した。
  論文  参考訳（メタデータ） (2023-08-03T02:49:50Z)
• Multi-Agent Reinforcement Learning with Action Masking for UAV-enabled Mobile Communications [1.3053649021965603]
  無人航空機(UAV)は、アドホックな通信インフラを提供するために、航空基地局としてますます使われている。 本稿では,地上通信インフラのないモバイルユーザに対して,複数のUAVを無線通信に利用することに焦点を当てる。 システムスループットを最大化するために,UAV 3DトラジェクトリとNOMAパワーアロケーションを共同で最適化する。
  論文  参考訳（メタデータ） (2023-03-29T14:41:03Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Optimization for Master-UAV-powered Auxiliary-Aerial-IRS-assisted IoT Networks: An Option-based Multi-agent Hierarchical Deep Reinforcement Learning Approach [56.84948632954274]
  本稿では,無人航空機(MUAV)搭載のIoT(Internet of Things)ネットワークについて検討する。 本稿では、インテリジェント反射面(IRS)を備えた充電可能な補助UAV(AUAV)を用いて、MUAVからの通信信号を強化することを提案する。 提案モデルでは,IoTネットワークの蓄積スループットを最大化するために,これらのエネルギー制限されたUAVの最適協調戦略について検討する。
  論文  参考訳（メタデータ） (2021-12-20T15:45:28Z)
• $\ell_\infty$-Robustness and Beyond: Unleashing Efficient Adversarial Training [11.241749205970253]
  トレーニングデータの小さなサブセットを選択することで、堅牢なトレーニングの時間的複雑さを軽減するための、より原則的なアプローチが実現されることを示す。 本手法は,クリーンかつロバストな精度をわずかに低下させながら,敵のトレーニングを2～3倍高速化する。
  論文  参考訳（メタデータ） (2021-12-01T09:55:01Z)
• 3D UAV Trajectory and Data Collection Optimisation via Deep Reinforcement Learning [75.78929539923749]
  無人航空機(UAV)は現在、無線通信におけるネットワーク性能とカバレッジを高めるために配備され始めている。 UAV支援モノのインターネット(IoT)のための最適な資源配分方式を得ることは困難である 本稿では,UAVの最も短い飛行経路に依存しつつ,IoTデバイスから収集したデータ量を最大化しながら,新しいUAV支援IoTシステムを設計する。
  論文  参考訳（メタデータ） (2021-06-06T14:08:41Z)
• FracTrain: Fractionally Squeezing Bit Savings Both Temporally and Spatially for Efficient DNN Training [81.85361544720885]
  アクティベーション、ウェイト、グラデーションの精度を徐々に高めるプログレッシブ分数量子化を統合したFracTrainを提案します。 FracTrainはDNNトレーニングの計算コストとハードウェア量子化エネルギー/レイテンシを削減し、同等以上の精度(-0.12%+1.87%)を達成する。
  論文  参考訳（メタデータ） (2020-12-24T05:24:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。