論文の概要: Digital Twin Assisted Deep Reinforcement Learning for Online Admission Control in Sliced Network

• arxiv url: http://arxiv.org/abs/2310.09299v3
• Date: Tue, 21 Nov 2023 07:34:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 17:32:28.703352
• Title: Digital Twin Assisted Deep Reinforcement Learning for Online Admission Control in Sliced Network
• Title（参考訳）: スライスネットワークにおけるオンラインアドミッション制御のためのデジタルツイン支援深層強化学習
• Authors: Zhenyu Tao, Wei Xu, Xiaohu You
• Abstract要約: この問題に対処するために、ディジタルツイン(DT)高速化DRLソリューションを提案する。 ニューラルネットワークベースのDTは、システムをキューイングするためのカスタマイズされた出力層を備え、教師付き学習を通じてトレーニングされ、DRLモデルのトレーニングフェーズを支援するために使用される。 DT加速DRLは、直接訓練された最先端Q-ラーニングモデルと比較して、リソース利用率を40%以上向上させる。
• 参考スコア（独自算出の注目度）: 19.152875040151976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The proliferation of diverse wireless services in 5G and beyond has led to the emergence of network slicing technologies. Among these, admission control plays a crucial role in achieving service-oriented optimization goals through the selective acceptance of service requests. Although deep reinforcement learning (DRL) forms the foundation in many admission control approaches thanks to its effectiveness and flexibility, initial instability with excessive convergence delay of DRL models hinders their deployment in real-world networks. We propose a digital twin (DT) accelerated DRL solution to address this issue. Specifically, we first formulate the admission decision-making process as a semi-Markov decision process, which is subsequently simplified into an equivalent discrete-time Markov decision process to facilitate the implementation of DRL methods. A neural network-based DT is established with a customized output layer for queuing systems, trained through supervised learning, and then employed to assist the training phase of the DRL model. Extensive simulations show that the DT-accelerated DRL improves resource utilization by over 40% compared to the directly trained state-of-the-art dueling deep Q-learning model. This improvement is achieved while preserving the model's capability to optimize the long-term rewards of the admission process.
• Abstract（参考訳）: 5g以降における多様な無線サービスの普及は、ネットワークスライシング技術の出現につながった。 サービス要求を選択的に受け入れることで、サービス指向の最適化目標を達成する上で、アクセス制御は重要な役割を担います。 深層強化学習(DRL)はその有効性と柔軟性によって多くの入場制御手法の基礎を成すが、DRLモデルの過度の収束遅延を伴う初期不安定性は、実際のネットワークへの展開を妨げる。 この問題に対処するために、ディジタルツイン(DT)高速化DRLソリューションを提案する。 具体的には、まずセミマルコフ決定プロセスとして入場決定過程を定式化し、その後DRL法の実装を容易にするために等価な離散時間マルコフ決定プロセスに単純化する。 ニューラルネットワークベースのDTは、システムをキューイングするためのカスタマイズされた出力層を備え、教師付き学習を通じてトレーニングされ、DRLモデルのトレーニングフェーズを支援するために使用される。 DT加速DRLは直接訓練された最先端Q-ラーニングモデルと比較して,資源利用率を40%以上向上させる。 この改善は、入場プロセスの長期報酬を最適化するモデルの能力を維持しながら達成される。

関連論文リスト

• DRL Optimization Trajectory Generation via Wireless Network Intent-Guided Diffusion Models for Optimizing Resource Allocation [58.62766376631344]
  本稿では、無線通信ネットワークの異なる状態変化に対応するために、カスタマイズされた無線ネットワークインテント(WNI-G)モデルを提案する。 大規模シミュレーションにより、動的通信システムにおけるスペクトル効率と従来のDRLモデルの変動の安定性が向上する。
  論文  参考訳（メタデータ） (2024-10-18T14:04:38Z)
• Multiobjective Vehicle Routing Optimization with Time Windows: A Hybrid Approach Using Deep Reinforcement Learning and NSGA-II [52.083337333478674]
  本稿では、時間窓を用いた多目的車両ルーティング問題(MOVRPTW)に対処するために、ウェイト・アウェア・ディープ・強化学習(WADRL)手法を提案する。 WADRLの結果を最適化するために非支配的ソート遺伝的アルゴリズム-II (NSGA-II) 法を用いる。
  論文  参考訳（メタデータ） (2024-07-18T02:46:06Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
  無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。 DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。 DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
  論文  参考訳（メタデータ） (2022-11-03T09:08:30Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Reinforcement Learning-Empowered Mobile Edge Computing for 6G Edge Intelligence [76.96698721128406]
  モバイルエッジコンピューティング(MEC)は、第5世代(5G)ネットワークなどにおける計算と遅延に敏感なタスクのための新しいパラダイムであると考えた。 本稿では、フリー対応RLに関する総合的な研究レビューと、開発のための洞察を提供する。
  論文  参考訳（メタデータ） (2022-01-27T10:02:54Z)
• Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks [16.12495409295754]
  次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。 データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。 深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
  論文  参考訳（メタデータ） (2021-12-07T03:13:20Z)
• DRL-based Slice Placement under Realistic Network Load Conditions [0.8459686722437155]
  本稿では,Deep Reinforcement Learning(DRL)に基づくネットワークスライス配置最適化手法を提案する。 このソリューションは大規模かつ静止しない交通条件下でのネットワーク(すなわちネットワーク負荷)に適応する。 提案手法の適用性と,非制御DRLソリューションよりも高い,安定した性能を示す。
  論文  参考訳（メタデータ） (2021-09-27T07:58:45Z)
• Boosting the Convergence of Reinforcement Learning-based Auto-pruning Using Historical Data [35.36703623383735]
  強化学習(Reinforcement Learning, RL)に基づくオートプルーニング(auto-pruning, 自動プルーニング)は, 手作りの高価な作業を避けるために, プルーニングプロセスを自動化するために提案されている。 しかし、RLをベースとしたプルーナーでは、時間を要するトレーニングプロセスが伴い、各サンプルの高コストがこの問題をさらに悪化させる。 本稿では,従来のオートプルーニングプロセスの履歴データを活用することで,この問題を解消する効率的なオートプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-16T07:17:26Z)
• Smart Scheduling based on Deep Reinforcement Learning for Cellular Networks [18.04856086228028]
  深部強化学習(DRL)に基づくスマートスケジューリング手法を提案する。 実装フレンドリーな設計、すなわちエージェントのためのスケーラブルなニューラルネットワーク設計と仮想環境トレーニングフレームワークを提供する。 本研究では, DRLベースのスマートスケジューリングが従来のスケジューリング方式を上回り, 実用システムにも適用できることを示した。
  論文  参考訳（メタデータ） (2021-03-22T02:09:16Z)
• Stacked Auto Encoder Based Deep Reinforcement Learning for Online Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
  オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。 以下を含む深層強化学習(DRL)に基づく解法を提案する。 DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
  論文  参考訳（メタデータ） (2020-01-24T23:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。