論文の概要: Digital Twin-Enhanced Deep Reinforcement Learning for Resource Management in Networks Slicing

• arxiv url: http://arxiv.org/abs/2311.16876v1
• Date: Tue, 28 Nov 2023 15:25:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-29 17:52:33.787097
• Title: Digital Twin-Enhanced Deep Reinforcement Learning for Resource Management in Networks Slicing
• Title（参考訳）: ネットワークスライシングにおける資源管理のためのデジタルツイン強化深層強化学習
• Authors: Zhengming Zhang, Yongming Huang, Cheng Zhang, Qingbi Zheng, Luxi Yang, Xiaohu You
• Abstract要約: 本稿では,デジタルツインと強化学習エージェントからなるフレームワークを提案する。 具体的には、歴史的データとニューラルネットワークを用いて、実環境の状態変動則をシミュレートするデジタルツインモデルを構築することを提案する。 また、このフレームワークをオフラインで強化学習に拡張し、歴史的データのみに基づいたインテリジェントな意思決定にソリューションを利用できるようにします。
• 参考スコア（独自算出の注目度）: 46.65030115953947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Network slicing-based communication systems can dynamically and efficiently allocate resources for diversified services. However, due to the limitation of the network interface on channel access and the complexity of the resource allocation, it is challenging to achieve an acceptable solution in the practical system without precise prior knowledge of the dynamics probability model of the service requests. Existing work attempts to solve this problem using deep reinforcement learning (DRL), however, such methods usually require a lot of interaction with the real environment in order to achieve good results. In this paper, a framework consisting of a digital twin and reinforcement learning agents is present to handle the issue. Specifically, we propose to use the historical data and the neural networks to build a digital twin model to simulate the state variation law of the real environment. Then, we use the data generated by the network slicing environment to calibrate the digital twin so that it is in sync with the real environment. Finally, DRL for slice optimization optimizes its own performance in this virtual pre-verification environment. We conducted an exhaustive verification of the proposed digital twin framework to confirm its scalability. Specifically, we propose to use loss landscapes to visualize the generalization of DRL solutions. We explore a distillation-based optimization scheme for lightweight slicing strategies. In addition, we also extend the framework to offline reinforcement learning, where solutions can be used to obtain intelligent decisions based solely on historical data. Numerical simulation experiments show that the proposed digital twin can significantly improve the performance of the slice optimization strategy.
• Abstract（参考訳）: ネットワークスライシングに基づく通信システムは、多様なサービスのリソースを動的かつ効率的に割り当てることができる。 しかし、チャネルアクセスにおけるネットワークインタフェースの制限とリソース割り当ての複雑さのため、サービス要求の動的確率モデルについて正確に知ることなく、実用的なシステムで許容可能なソリューションを実現することは困難である。 既存の研究は、深層強化学習(drl)を用いてこの問題を解決しようとするが、その方法は通常、良い結果を得るために実環境と多くのインタラクションを必要とする。 本稿では,デジタル双生児と強化学習エージェントからなるフレームワークを用いてこの問題に対処する。 具体的には、歴史的データとニューラルネットワークを用いて、実環境の状態変動則をシミュレートするデジタルツインモデルを構築することを提案する。 次に,ネットワークスライシング環境が生成するデータを用いて,実環境と同期するようにディジタルツインの校正を行う。 最後に、スライス最適化のためのDRLは、この仮想事前検証環境での性能を最適化する。 提案するデジタルツインフレームワークを徹底的に検証し,スケーラビリティを確認した。 具体的には,drlソリューションの一般化を可視化するためにロスランドスケープの利用を提案する。 軽スライシング戦略に対する蒸留法に基づく最適化手法について検討する。 さらに、このフレームワークをオフラインで強化学習に拡張し、歴史的データのみに基づくインテリジェントな意思決定にソリューションを利用できるようにします。 数値シミュレーション実験により,提案するデジタル双生児はスライス最適化手法の性能を大幅に向上できることがわかった。

関連論文リスト

• Digital Twin-Assisted Data-Driven Optimization for Reliable Edge Caching in Wireless Networks [60.54852710216738]
  我々はD-RECと呼ばれる新しいデジタルツインアシスト最適化フレームワークを導入し、次世代無線ネットワークにおける信頼性の高いキャッシュを実現する。 信頼性モジュールを制約付き決定プロセスに組み込むことで、D-RECは、有利な制約に従うために、アクション、報酬、状態を適応的に調整することができる。
  論文  参考訳（メタデータ） (2024-06-29T02:40:28Z)
• Adaptive Digital Twin and Communication-Efficient Federated Learning Network Slicing for 5G-enabled Internet of Things [8.11509914300497]
  ネットワークスライシングは、ネットワークリソースの効率的な使用と管理を通じて、増大する要求を満たすために、マルチサービスとリソース要求を区別した産業用IoTネットワークを可能にする。 次世代のIndustry 4.0は、物理システムを正確な意思決定のためにデジタルモデルにマッピングするデジタルツインを導入した。 提案手法では,まずグラフアテンションネットワークを用いて,ネットワークスライスのためのディジタルツイン環境を構築し,リアルタイムトラフィック分析,監視,需要予測を実現する。
  論文  参考訳（メタデータ） (2024-06-22T15:33:35Z)
• Graph Reinforcement Learning for Network Control via Bi-Level Optimization [37.00510744883984]
  我々は、データ駆動戦略がこのプロセスを自動化し、最適性を損なうことなく効率的なアルゴリズムを学習できると主張している。 我々は、強化学習のレンズを通してネットワーク制御の問題を提示し、幅広い問題に対処するグラフネットワークベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-16T03:20:22Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• A Heuristically Assisted Deep Reinforcement Learning Approach for Network Slice Placement [0.7885276250519428]
  本稿では,Deep Reinforcement Learning(DRL)に基づくハイブリッド配置ソリューションと,Power of Two Choices原則に基づく専用最適化を提案する。 提案したHuristically-Assisted DRL (HA-DRL) は,他の最先端手法と比較して学習プロセスの高速化と資源利用の促進を可能にする。
  論文  参考訳（メタデータ） (2021-05-14T10:04:17Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。