論文の概要: Digital Twin Assisted Deep Reinforcement Learning for Online
Optimization of Network Slicing Admission Control
- arxiv url: http://arxiv.org/abs/2310.09299v1
- Date: Sat, 7 Oct 2023 09:09:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 02:41:16.193586
- Title: Digital Twin Assisted Deep Reinforcement Learning for Online
Optimization of Network Slicing Admission Control
- Title(参考訳): ネットワークスライシング適応制御のオンライン最適化のためのデジタルツイン支援深層強化学習
- Authors: Zhenyu Tao, Wei Xu, Xiaohu You
- Abstract要約: 本稿では、この問題を解決するために、デジタルツイン(DT)支援深層強化学習(DRL)ソリューションを提案する。
具体的には、まず、セミマルコフ決定プロセスとして、入場決定過程を定式化し、これを等価な離散時間マルコフ決定プロセスに単純化する。
DT支援DRLモデルでは, 直接訓練されたDueling-DQNと比較して, 資源利用率が40%以上増加した。
- 参考スコア(独自算出の注目度): 19.152875040151976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proliferation of diverse network services in 5G and beyond networks has
led to the emergence of network slicing technologies. Among these, admission
control plays a crucial role in achieving specific optimization goals through
the selective acceptance of service requests. Although Deep Reinforcement
Learning (DRL) forms the foundation in many admission control approaches for
its effectiveness and flexibility, the initial instability of DRL models
hinders their practical deployment in real-world networks. In this work, we
propose a digital twin (DT) assisted DRL solution to address this issue.
Specifically, we first formulate the admission decision-making process as a
semi-Markov decision process, which is subsequently simplified into an
equivalent discrete-time Markov decision process to facilitate the
implementation of DRL methods. The DT is established through supervised
learning and employed to assist the training phase of the DRL model. Extensive
simulations show that the DT-assisted DRL model increased resource utilization
by over 40\% compared to the directly trained state-of-the-art Dueling-DQN and
over 20\% compared to our directly trained DRL model during initial training.
This improvement is achieved while preserving the model's capacity to optimize
the long-term rewards.
- Abstract(参考訳): 5gおよびbeyondネットワークにおける多様なネットワークサービスの普及は、ネットワークスライシング技術の出現につながった。
これらのうち、入場制御は、サービス要求の選択的受け入れを通じて、特定の最適化目標を達成する上で重要な役割を果たす。
深層強化学習(Dep Reinforcement Learning, DRL)はその有効性と柔軟性のために多くの入場制御アプローチの基礎を成すが、DRLモデルの初期の不安定性は現実のネットワークへの実践的な展開を妨げる。
本研究では,この問題に対処するディジタルツイン支援DRLソリューションを提案する。
具体的には、まずセミマルコフ決定プロセスとして入場決定過程を定式化し、その後DRL法の実装を容易にするために等価な離散時間マルコフ決定プロセスに単純化する。
DTは教師付き学習によって確立され、DRLモデルのトレーニングフェーズを支援するために使用される。
DT支援DRLモデルでは, 直接訓練したDueling-DQNと比較して資源利用率が40%以上増加し, 直接訓練したDRLモデルと比較して20%以上増加した。
この改善は、長期報酬を最適化するモデルの能力を維持しながら達成される。
関連論文リスト
- Compressing Deep Reinforcement Learning Networks with a Dynamic
Structured Pruning Method for Autonomous Driving [63.155562267383864]
深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。
DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。
そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T09:00:30Z) - Solving Continual Offline Reinforcement Learning with Decision Transformer [78.59473797783673]
連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。
Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。
我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
論文 参考訳(メタデータ) (2024-01-16T16:28:32Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳(メタデータ) (2023-04-20T17:11:05Z) - Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。
DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。
DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
論文 参考訳(メタデータ) (2022-11-03T09:08:30Z) - DL-DRL: A double-level deep reinforcement learning approach for
large-scale task scheduling of multi-UAV [65.07776277630228]
分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。
特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。
また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
論文 参考訳(メタデータ) (2022-08-04T04:35:53Z) - Reinforcement Learning-Empowered Mobile Edge Computing for 6G Edge
Intelligence [76.96698721128406]
モバイルエッジコンピューティング(MEC)は、第5世代(5G)ネットワークなどにおける計算と遅延に敏感なタスクのための新しいパラダイムであると考えた。
本稿では、フリー対応RLに関する総合的な研究レビューと、開発のための洞察を提供する。
論文 参考訳(メタデータ) (2022-01-27T10:02:54Z) - Federated Deep Reinforcement Learning for the Distributed Control of
NextG Wireless Networks [16.12495409295754]
次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。
データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。
深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
論文 参考訳(メタデータ) (2021-12-07T03:13:20Z) - DRL-based Slice Placement under Realistic Network Load Conditions [0.8459686722437155]
本稿では,Deep Reinforcement Learning(DRL)に基づくネットワークスライス配置最適化手法を提案する。
このソリューションは大規模かつ静止しない交通条件下でのネットワーク(すなわちネットワーク負荷)に適応する。
提案手法の適用性と,非制御DRLソリューションよりも高い,安定した性能を示す。
論文 参考訳(メタデータ) (2021-09-27T07:58:45Z) - Boosting the Convergence of Reinforcement Learning-based Auto-pruning
Using Historical Data [35.36703623383735]
強化学習(Reinforcement Learning, RL)に基づくオートプルーニング(auto-pruning, 自動プルーニング)は, 手作りの高価な作業を避けるために, プルーニングプロセスを自動化するために提案されている。
しかし、RLをベースとしたプルーナーでは、時間を要するトレーニングプロセスが伴い、各サンプルの高コストがこの問題をさらに悪化させる。
本稿では,従来のオートプルーニングプロセスの履歴データを活用することで,この問題を解消する効率的なオートプルーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-16T07:17:26Z) - Smart Scheduling based on Deep Reinforcement Learning for Cellular
Networks [18.04856086228028]
深部強化学習(DRL)に基づくスマートスケジューリング手法を提案する。
実装フレンドリーな設計、すなわちエージェントのためのスケーラブルなニューラルネットワーク設計と仮想環境トレーニングフレームワークを提供する。
本研究では, DRLベースのスマートスケジューリングが従来のスケジューリング方式を上回り, 実用システムにも適用できることを示した。
論文 参考訳(メタデータ) (2021-03-22T02:09:16Z) - Stacked Auto Encoder Based Deep Reinforcement Learning for Online
Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。
以下を含む深層強化学習(DRL)に基づく解法を提案する。
DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
論文 参考訳(メタデータ) (2020-01-24T23:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。