論文の概要: Digital Twin Assisted Deep Reinforcement Learning for Online Admission
Control in Sliced Network
- arxiv url: http://arxiv.org/abs/2310.09299v3
- Date: Tue, 21 Nov 2023 07:34:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 17:32:28.703352
- Title: Digital Twin Assisted Deep Reinforcement Learning for Online Admission
Control in Sliced Network
- Title(参考訳): スライスネットワークにおけるオンラインアドミッション制御のためのデジタルツイン支援深層強化学習
- Authors: Zhenyu Tao, Wei Xu, Xiaohu You
- Abstract要約: この問題に対処するために、ディジタルツイン(DT)高速化DRLソリューションを提案する。
ニューラルネットワークベースのDTは、システムをキューイングするためのカスタマイズされた出力層を備え、教師付き学習を通じてトレーニングされ、DRLモデルのトレーニングフェーズを支援するために使用される。
DT加速DRLは、直接訓練された最先端Q-ラーニングモデルと比較して、リソース利用率を40%以上向上させる。
- 参考スコア(独自算出の注目度): 19.152875040151976
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The proliferation of diverse wireless services in 5G and beyond has led to
the emergence of network slicing technologies. Among these, admission control
plays a crucial role in achieving service-oriented optimization goals through
the selective acceptance of service requests. Although deep reinforcement
learning (DRL) forms the foundation in many admission control approaches thanks
to its effectiveness and flexibility, initial instability with excessive
convergence delay of DRL models hinders their deployment in real-world
networks. We propose a digital twin (DT) accelerated DRL solution to address
this issue. Specifically, we first formulate the admission decision-making
process as a semi-Markov decision process, which is subsequently simplified
into an equivalent discrete-time Markov decision process to facilitate the
implementation of DRL methods. A neural network-based DT is established with a
customized output layer for queuing systems, trained through supervised
learning, and then employed to assist the training phase of the DRL model.
Extensive simulations show that the DT-accelerated DRL improves resource
utilization by over 40% compared to the directly trained state-of-the-art
dueling deep Q-learning model. This improvement is achieved while preserving
the model's capability to optimize the long-term rewards of the admission
process.
- Abstract(参考訳): 5g以降における多様な無線サービスの普及は、ネットワークスライシング技術の出現につながった。
サービス要求を選択的に受け入れることで、サービス指向の最適化目標を達成する上で、アクセス制御は重要な役割を担います。
深層強化学習(DRL)はその有効性と柔軟性によって多くの入場制御手法の基礎を成すが、DRLモデルの過度の収束遅延を伴う初期不安定性は、実際のネットワークへの展開を妨げる。
この問題に対処するために、ディジタルツイン(DT)高速化DRLソリューションを提案する。
具体的には、まずセミマルコフ決定プロセスとして入場決定過程を定式化し、その後DRL法の実装を容易にするために等価な離散時間マルコフ決定プロセスに単純化する。
ニューラルネットワークベースのDTは、システムをキューイングするためのカスタマイズされた出力層を備え、教師付き学習を通じてトレーニングされ、DRLモデルのトレーニングフェーズを支援するために使用される。
DT加速DRLは直接訓練された最先端Q-ラーニングモデルと比較して,資源利用率を40%以上向上させる。
この改善は、入場プロセスの長期報酬を最適化するモデルの能力を維持しながら達成される。
関連論文リスト
- Compressing Deep Reinforcement Learning Networks with a Dynamic
Structured Pruning Method for Autonomous Driving [63.155562267383864]
深部強化学習(DRL)は複雑な自律運転シナリオにおいて顕著な成功を収めている。
DRLモデルは、必然的に高いメモリ消費と計算をもたらし、リソース限定の自動運転デバイスへの広範な展開を妨げる。
そこで本研究では,DRLモデルの非重要なニューロンを段階的に除去する,新しい動的構造化プルーニング手法を提案する。
論文 参考訳(メタデータ) (2024-02-07T09:00:30Z) - Solving Continual Offline Reinforcement Learning with Decision
Transformer [84.32004665413395]
連続的オフライン強化学習(CORL)は、連続的およびオフライン的な強化学習を組み合わせたものである。
Actor-Critic構造とエクスペリエンス・リプレイ(ER)を取り入れた既存の手法は、分散シフト、低効率、知識共有の弱さに悩まされている。
我々は,マルチヘッドDT (MH-DT) とローランク適応DT (LoRA-DT) を導入し,DTの無視問題を緩和する。
論文 参考訳(メタデータ) (2024-01-16T16:28:32Z) - Efficient Deep Reinforcement Learning Requires Regulating Overfitting [91.88004732618381]
本稿では,高時間差(TD)誤差が深部RLアルゴリズムの性能に悪影響を及ぼす主要な原因であることを示す。
検証TDエラーをターゲットとした簡単なオンラインモデル選択法は,状態ベースDMCおよびGymタスク間で有効であることを示す。
論文 参考訳(メタデータ) (2023-04-20T17:11:05Z) - Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。
DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。
DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
論文 参考訳(メタデータ) (2022-11-03T09:08:30Z) - DL-DRL: A double-level deep reinforcement learning approach for
large-scale task scheduling of multi-UAV [65.07776277630228]
分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。
特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。
また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
論文 参考訳(メタデータ) (2022-08-04T04:35:53Z) - Reinforcement Learning-Empowered Mobile Edge Computing for 6G Edge
Intelligence [76.96698721128406]
モバイルエッジコンピューティング(MEC)は、第5世代(5G)ネットワークなどにおける計算と遅延に敏感なタスクのための新しいパラダイムであると考えた。
本稿では、フリー対応RLに関する総合的な研究レビューと、開発のための洞察を提供する。
論文 参考訳(メタデータ) (2022-01-27T10:02:54Z) - Federated Deep Reinforcement Learning for the Distributed Control of
NextG Wireless Networks [16.12495409295754]
次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。
データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。
深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
論文 参考訳(メタデータ) (2021-12-07T03:13:20Z) - DRL-based Slice Placement under Realistic Network Load Conditions [0.8459686722437155]
本稿では,Deep Reinforcement Learning(DRL)に基づくネットワークスライス配置最適化手法を提案する。
このソリューションは大規模かつ静止しない交通条件下でのネットワーク(すなわちネットワーク負荷)に適応する。
提案手法の適用性と,非制御DRLソリューションよりも高い,安定した性能を示す。
論文 参考訳(メタデータ) (2021-09-27T07:58:45Z) - Boosting the Convergence of Reinforcement Learning-based Auto-pruning
Using Historical Data [35.36703623383735]
強化学習(Reinforcement Learning, RL)に基づくオートプルーニング(auto-pruning, 自動プルーニング)は, 手作りの高価な作業を避けるために, プルーニングプロセスを自動化するために提案されている。
しかし、RLをベースとしたプルーナーでは、時間を要するトレーニングプロセスが伴い、各サンプルの高コストがこの問題をさらに悪化させる。
本稿では,従来のオートプルーニングプロセスの履歴データを活用することで,この問題を解消する効率的なオートプルーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2021-07-16T07:17:26Z) - Smart Scheduling based on Deep Reinforcement Learning for Cellular
Networks [18.04856086228028]
深部強化学習(DRL)に基づくスマートスケジューリング手法を提案する。
実装フレンドリーな設計、すなわちエージェントのためのスケーラブルなニューラルネットワーク設計と仮想環境トレーニングフレームワークを提供する。
本研究では, DRLベースのスマートスケジューリングが従来のスケジューリング方式を上回り, 実用システムにも適用できることを示した。
論文 参考訳(メタデータ) (2021-03-22T02:09:16Z) - Stacked Auto Encoder Based Deep Reinforcement Learning for Online
Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。
以下を含む深層強化学習(DRL)に基づく解法を提案する。
DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
論文 参考訳(メタデータ) (2020-01-24T23:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。