論文の概要: Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2406.17334v1
• Date: Tue, 25 Jun 2024 07:42:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 15:21:33.647441
• Title: Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning
• Title（参考訳）: 階層的深層強化学習による仮想ネットワークの連関制御と資源配分
• Authors: Tianfu Wang, Li Shen, Qilin Fan, Tong Xu, Tongliang Liu, Hui Xiong,
• Abstract要約: 本稿では,仮想ネットワークの埋め込みにおいて,入出力制御と資源配分を併用して学習する深層強化学習手法を提案する。 HRL-ACRAは,受入率と長期平均収益の両面で,最先端のベースラインを上回っていることを示す。
• 参考スコア（独自算出の注目度）: 69.00997996453842
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As an essential resource management problem in network virtualization, virtual network embedding (VNE) aims to allocate the finite resources of physical network to sequentially arriving virtual network requests (VNRs) with different resource demands. Since this is an NP-hard combinatorial optimization problem, many efforts have been made to provide viable solutions. However, most existing approaches have either ignored the admission control of VNRs, which has a potential impact on long-term performances, or not fully exploited the temporal and topological features of the physical network and VNRs. In this paper, we propose a deep Hierarchical Reinforcement Learning approach to learn a joint Admission Control and Resource Allocation policy for VNE, named HRL-ACRA. Specifically, the whole VNE process is decomposed into an upper-level policy for deciding whether to admit the arriving VNR or not and a lower-level policy for allocating resources of the physical network to meet the requirement of VNR through the HRL approach. Considering the proximal policy optimization as the basic training algorithm, we also adopt the average reward method to address the infinite horizon problem of the upper-level agent and design a customized multi-objective intrinsic reward to alleviate the sparse reward issue of the lower-level agent. Moreover, we develop a deep feature-aware graph neural network to capture the features of VNR and physical network and exploit a sequence-to-sequence model to generate embedding actions iteratively. Finally, extensive experiments are conducted in various settings, and show that HRL-ACRA outperforms state-of-the-art baselines in terms of both the acceptance ratio and long-term average revenue. Our code is available at \url{https://github.com/GeminiLight/hrl-acra}.
• Abstract（参考訳）: ネットワーク仮想化における重要なリソース管理問題として、仮想ネットワーク埋め込み(VNE)は、物理ネットワークの有限リソースを異なるリソース要求で順次到着する仮想ネットワーク要求(VNR)に割り当てることを目的としている。 これはNPハード組合せ最適化問題であるため、実現可能なソリューションを提供するために多くの努力がなされている。 しかしながら、既存のほとんどのアプローチは、長期的パフォーマンスに影響を与える可能性のあるVNRの受け入れ制御を無視しているか、物理的ネットワークとVNRの時間的および位相的特徴を完全に活用していないかのどちらかである。 本稿では, HRL-ACRA と名づけられた VNE の適応制御と資源配分の協調政策を学習するための階層的強化学習手法を提案する。 具体的には、VNEプロセス全体を、到着したVNRを受け入れるかどうかを決定するための上位レベルポリシーと、HRLアプローチを通じてVNRの要求を満たすために物理ネットワークのリソースを割り当てる下位レベルポリシーに分解する。 基本訓練アルゴリズムとして近似ポリシー最適化を考慮し、上位エージェントの無限地平線問題に対処する平均報酬法を採用し、下位エージェントのスパース報酬問題を緩和するために、カスタマイズされた多目的固有報酬を設計する。 さらに、VNRと物理ネットワークの特徴を捉え、シーケンシャル・ツー・シーケンスモデルを利用して埋め込み動作を反復的に生成する、深い特徴認識グラフニューラルネットワークを開発した。 最後に, HRL-ACRAは, 受入率と長期平均収益の両面で, 最先端のベースラインを上回っていることを示す。 私たちのコードは \url{https://github.com/GeminiLight/hrl-acra} で利用可能です。

関連論文リスト

• Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
  我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。 最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T01:36:13Z)
• State-Augmented Learnable Algorithms for Resource Management in Wireless Networks [124.89036526192268]
  本稿では,無線ネットワークにおける資源管理問題を解決するためのステート拡張アルゴリズムを提案する。 提案アルゴリズムは, RRM決定を可能, ほぼ最適に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-07-05T18:02:54Z)
• Multi Objective Resource Optimization of Wireless Network Based on Cross Domain Virtual Network Embedding [6.019028366261091]
  本稿では,無線ネットワークリソース割り当てのための多目的最適化VNEアルゴリズムを提案する。 提案した目的式によると、最適化マッピングコスト、ネットワーク遅延、VNR受け入れ率について検討する。
  論文  参考訳（メタデータ） (2022-02-03T07:26:10Z)
• Network Resource Allocation Strategy Based on Deep Reinforcement Learning [4.751282319342761]
  本稿では,深部強化学習(DRL)に基づく二段階VNEアルゴリズムを提案する。 MLに基づく既存のVNEアルゴリズムは、基板ネットワーク表現とトレーニングモードの重要性を無視することが多いため、フル属性行列(FAM-DRL-VNE)に基づくDRL VNEアルゴリズムを提案する。 実験の結果,上記のアルゴリズムは他のアルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-02-03T06:53:00Z)
• Dynamic Virtual Network Embedding Algorithm based on Graph Convolution Neural Network and Reinforcement Learning [15.394489762270162]
  本稿では,このアルゴリズムに強化学習(RL)とグラフニューラルネットワーク(GNN)理論を適用した新しいタイプのVNEアルゴリズムを提案する。 自己定義された適合行列と適合値に基づいて,アルゴリズム実装の目的関数を設定し,効率的な動的VNEアルゴリズムを実現し,資源の断片化の度合いを効果的に低減した。
  論文  参考訳（メタデータ） (2022-02-03T02:37:45Z)
• A Heuristically Assisted Deep Reinforcement Learning Approach for Network Slice Placement [0.7885276250519428]
  本稿では,Deep Reinforcement Learning(DRL)に基づくハイブリッド配置ソリューションと,Power of Two Choices原則に基づく専用最適化を提案する。 提案したHuristically-Assisted DRL (HA-DRL) は,他の最先端手法と比較して学習プロセスの高速化と資源利用の促進を可能にする。
  論文  参考訳（メタデータ） (2021-05-14T10:04:17Z)
• Resource Allocation via Model-Free Deep Learning in Free Space Optical Communications [119.81868223344173]
  本稿では,自由空間光学(FSO)通信におけるチャネルフェージング効果の緩和のための資源配分の一般的な問題について検討する。 本フレームワークでは,FSO資源割り当て問題を解決する2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-27T17:38:51Z)
• Resource Allocation via Graph Neural Networks in Free Space Optical Fronthaul Networks [119.81868223344173]
  本稿では,自由空間光(FSO)フロントホールネットワークにおける最適資源割り当てについて検討する。 我々は、FSOネットワーク構造を利用するために、ポリシーパラメータ化のためのグラフニューラルネットワーク(GNN)を検討する。 本アルゴリズムは,システムモデルに関する知識が不要なモデルフリーでGNNを訓練するために開発された。
  論文  参考訳（メタデータ） (2020-06-26T14:20:48Z)
• Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
  シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。 本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。 我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
  論文  参考訳（メタデータ） (2020-04-08T10:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。