論文の概要: Digital Twin Assisted Deep Reinforcement Learning for Online Optimization of Network Slicing Admission Control

• arxiv url: http://arxiv.org/abs/2310.09299v1
• Date: Sat, 7 Oct 2023 09:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-23 02:41:16.193586
• Title: Digital Twin Assisted Deep Reinforcement Learning for Online Optimization of Network Slicing Admission Control
• Title（参考訳）: ネットワークスライシング適応制御のオンライン最適化のためのデジタルツイン支援深層強化学習
• Authors: Zhenyu Tao, Wei Xu, Xiaohu You
• Abstract要約: 本稿では、この問題を解決するために、デジタルツイン(DT)支援深層強化学習(DRL)ソリューションを提案する。 具体的には、まず、セミマルコフ決定プロセスとして、入場決定過程を定式化し、これを等価な離散時間マルコフ決定プロセスに単純化する。 DT支援DRLモデルでは, 直接訓練されたDueling-DQNと比較して, 資源利用率が40%以上増加した。
• 参考スコア（独自算出の注目度）: 19.152875040151976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of diverse network services in 5G and beyond networks has led to the emergence of network slicing technologies. Among these, admission control plays a crucial role in achieving specific optimization goals through the selective acceptance of service requests. Although Deep Reinforcement Learning (DRL) forms the foundation in many admission control approaches for its effectiveness and flexibility, the initial instability of DRL models hinders their practical deployment in real-world networks. In this work, we propose a digital twin (DT) assisted DRL solution to address this issue. Specifically, we first formulate the admission decision-making process as a semi-Markov decision process, which is subsequently simplified into an equivalent discrete-time Markov decision process to facilitate the implementation of DRL methods. The DT is established through supervised learning and employed to assist the training phase of the DRL model. Extensive simulations show that the DT-assisted DRL model increased resource utilization by over 40\% compared to the directly trained state-of-the-art Dueling-DQN and over 20\% compared to our directly trained DRL model during initial training. This improvement is achieved while preserving the model's capacity to optimize the long-term rewards.
• Abstract（参考訳）: 5gおよびbeyondネットワークにおける多様なネットワークサービスの普及は、ネットワークスライシング技術の出現につながった。 これらのうち、入場制御は、サービス要求の選択的受け入れを通じて、特定の最適化目標を達成する上で重要な役割を果たす。 深層強化学習(Dep Reinforcement Learning, DRL)はその有効性と柔軟性のために多くの入場制御アプローチの基礎を成すが、DRLモデルの初期の不安定性は現実のネットワークへの実践的な展開を妨げる。 本研究では,この問題に対処するディジタルツイン支援DRLソリューションを提案する。 具体的には、まずセミマルコフ決定プロセスとして入場決定過程を定式化し、その後DRL法の実装を容易にするために等価な離散時間マルコフ決定プロセスに単純化する。 DTは教師付き学習によって確立され、DRLモデルのトレーニングフェーズを支援するために使用される。 DT支援DRLモデルでは, 直接訓練したDueling-DQNと比較して資源利用率が40%以上増加し, 直接訓練したDRLモデルと比較して20%以上増加した。 この改善は、長期報酬を最適化するモデルの能力を維持しながら達成される。

関連論文リスト

• DRL Optimization Trajectory Generation via Wireless Network Intent-Guided Diffusion Models for Optimizing Resource Allocation [58.62766376631344]
  本稿では、無線通信ネットワークの異なる状態変化に対応するために、カスタマイズされた無線ネットワークインテント(WNI-G)モデルを提案する。 大規模シミュレーションにより、動的通信システムにおけるスペクトル効率と従来のDRLモデルの変動の安定性が向上する。
  論文  参考訳（メタデータ） (2024-10-18T14:04:38Z)
• Multiobjective Vehicle Routing Optimization with Time Windows: A Hybrid Approach Using Deep Reinforcement Learning and NSGA-II [52.083337333478674]
  本稿では、時間窓を用いた多目的車両ルーティング問題(MOVRPTW)に対処するために、ウェイト・アウェア・ディープ・強化学習(WADRL)手法を提案する。 WADRLの結果を最適化するために非支配的ソート遺伝的アルゴリズム-II (NSGA-II) 法を用いる。
  論文  参考訳（メタデータ） (2024-07-18T02:46:06Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
  無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。 DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。 DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
  論文  参考訳（メタデータ） (2022-11-03T09:08:30Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Reinforcement Learning-Empowered Mobile Edge Computing for 6G Edge Intelligence [76.96698721128406]
  モバイルエッジコンピューティング(MEC)は、第5世代(5G)ネットワークなどにおける計算と遅延に敏感なタスクのための新しいパラダイムであると考えた。 本稿では、フリー対応RLに関する総合的な研究レビューと、開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2022-01-27T10:02:54Z)
• Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks [16.12495409295754]
  次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。 データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。 深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
  論文  参考訳（メタデータ） (2021-12-07T03:13:20Z)
• DRL-based Slice Placement under Realistic Network Load Conditions [0.8459686722437155]
  本稿では,Deep Reinforcement Learning(DRL)に基づくネットワークスライス配置最適化手法を提案する。 このソリューションは大規模かつ静止しない交通条件下でのネットワーク(すなわちネットワーク負荷)に適応する。 提案手法の適用性と,非制御DRLソリューションよりも高い,安定した性能を示す。
  論文  参考訳（メタデータ） (2021-09-27T07:58:45Z)
• Boosting the Convergence of Reinforcement Learning-based Auto-pruning Using Historical Data [35.36703623383735]
  強化学習(Reinforcement Learning, RL)に基づくオートプルーニング(auto-pruning, 自動プルーニング)は, 手作りの高価な作業を避けるために, プルーニングプロセスを自動化するために提案されている。 しかし、RLをベースとしたプルーナーでは、時間を要するトレーニングプロセスが伴い、各サンプルの高コストがこの問題をさらに悪化させる。 本稿では,従来のオートプルーニングプロセスの履歴データを活用することで,この問題を解消する効率的なオートプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-16T07:17:26Z)
• Smart Scheduling based on Deep Reinforcement Learning for Cellular Networks [18.04856086228028]
  深部強化学習(DRL)に基づくスマートスケジューリング手法を提案する。 実装フレンドリーな設計、すなわちエージェントのためのスケーラブルなニューラルネットワーク設計と仮想環境トレーニングフレームワークを提供する。 本研究では, DRLベースのスマートスケジューリングが従来のスケジューリング方式を上回り, 実用システムにも適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-22T02:09:16Z)
• Stacked Auto Encoder Based Deep Reinforcement Learning for Online Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
  オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。 以下を含む深層強化学習(DRL)に基づく解法を提案する。 DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
  論文  参考訳（メタデータ） (2020-01-24T23:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。