論文の概要: FlagVNE: A Flexible and Generalizable Reinforcement Learning Framework for Network Resource Allocation
- arxiv url: http://arxiv.org/abs/2404.12633v4
- Date: Wed, 1 May 2024 18:58:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-03 21:11:56.967057
- Title: FlagVNE: A Flexible and Generalizable Reinforcement Learning Framework for Network Resource Allocation
- Title（参考訳）: FlagVNE: ネットワークリソース割り当てのためのフレキシブルで汎用的な強化学習フレームワーク
- Authors: Tianfu Wang, Qilin Fan, Chao Wang, Long Yang, Leilei Ding, Nicholas Jing Yuan, Hui Xiong,
- Abstract要約: FLexible And Generalizable RL framework for VNE, named FlagVNEを提案する。
広範かつダイナミックな動作空間に取り組むために,適応的な動作確率分布を生成する階層型デコーダを設計する。
様々なVNRサイズの一般化問題を克服するために,メタRLに基づくトレーニング手法を提案する。
- 参考スコア（独自算出の注目度）: 31.74480390058691
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Virtual network embedding (VNE) is an essential resource allocation task in network virtualization, aiming to map virtual network requests (VNRs) onto physical infrastructure. Reinforcement learning (RL) has recently emerged as a promising solution to this problem. However, existing RL-based VNE methods are limited by the unidirectional action design and one-size-fits-all training strategy, resulting in restricted searchability and generalizability. In this paper, we propose a FLexible And Generalizable RL framework for VNE, named FlagVNE. Specifically, we design a bidirectional action-based Markov decision process model that enables the joint selection of virtual and physical nodes, thus improving the exploration flexibility of solution space. To tackle the expansive and dynamic action space, we design a hierarchical decoder to generate adaptive action probability distributions and ensure high training efficiency. Furthermore, to overcome the generalization issue for varying VNR sizes, we propose a meta-RL-based training method with a curriculum scheduling strategy, facilitating specialized policy training for each VNR size. Finally, extensive experimental results show the effectiveness of FlagVNE across multiple key metrics. Our code is available at GitHub (https://github.com/GeminiLight/flag-vne).
- Abstract（参考訳）: VNE(Virtual Network Embedding)は、仮想ネットワーク要求(VNR)を物理インフラにマッピングすることを目的とした、ネットワーク仮想化における重要なリソース割り当てタスクである。
強化学習(RL)は近年,この問題に対する有望な解決策として浮上している。
しかし、既存のRLベースのVNE法は、一方向のアクション設計と一方向のトレーニング戦略によって制限されており、探索性や一般化性が制限される。
本稿では,FLexible And Generalizable RL framework for VNE(FragVNE)を提案する。
具体的には,仮想ノードと物理ノードの同時選択を可能にする双方向動作に基づくマルコフ決定プロセスモデルを設計し,解空間の探索性を向上させる。
広範かつダイナミックな動作空間に取り組むために,適応的な動作確率分布を生成し,高い訓練効率を確保する階層型デコーダを設計する。
さらに, 様々なVNRサイズに対する一般化問題を克服するために, 各VNRサイズに対する専門的な政策訓練を容易にする, カリキュラムスケジューリング戦略を備えたメタRLベースのトレーニング手法を提案する。
最後に、多数の実験結果から、FragVNEが複数の主要な指標にまたがって有効であることが示されている。
私たちのコードはGitHubで入手可能です(https://github.com/GeminiLight/flag-vne)。
関連論文リスト
- Enhancing Spectrum Efficiency in 6G Satellite Networks: A GAIL-Powered Policy Learning via Asynchronous Federated Inverse Reinforcement Learning [67.95280175998792]
ビームフォーミング,スペクトルアロケーション,リモートユーザ機器(RUE)アソシエイトを最適化するために,GAILを利用した新しいポリシー学習手法を提案する。
手動チューニングなしで報酬関数を自動的に学習するために、逆RL(IRL)を用いる。
提案手法は従来のRL手法よりも優れており,コンバージェンスと報酬値の14.6%の改善が達成されている。
論文 参考訳（メタデータ） (2024-09-27T13:05:02Z) - Joint Admission Control and Resource Allocation of Virtual Network Embedding via Hierarchical Deep Reinforcement Learning [69.00997996453842]
本稿では,仮想ネットワークの埋め込みにおいて,入出力制御と資源配分を併用して学習する深層強化学習手法を提案する。
HRL-ACRAは,受入率と長期平均収益の両面で,最先端のベースラインを上回っていることを示す。
論文 参考訳（メタデータ） (2024-06-25T07:42:30Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Advanced Scaling Methods for VNF deployment with Reinforcement Learning [0.0]
ネットワーク機能仮想化(NFV)とソフトウェア定義ネットワーク(SDN)は新たなネットワークパラダイムとなっている。
VNFデプロイメントを最適化するための強化学習(RL)ベースのアプローチが提案されている。
本稿では,より一般的なネットワーク設定に適応可能な拡張モデルを提案する。
論文 参考訳（メタデータ） (2023-01-19T21:31:23Z) - DL-DRL: A double-level deep reinforcement learning approach for
large-scale task scheduling of multi-UAV [65.07776277630228]
分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。
特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。
また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
論文 参考訳（メタデータ） (2022-08-04T04:35:53Z) - Network Resource Allocation Strategy Based on Deep Reinforcement
Learning [4.751282319342761]
本稿では,深部強化学習(DRL)に基づく二段階VNEアルゴリズムを提案する。
MLに基づく既存のVNEアルゴリズムは、基板ネットワーク表現とトレーニングモードの重要性を無視することが多いため、フル属性行列(FAM-DRL-VNE)に基づくDRL VNEアルゴリズムを提案する。
実験の結果,上記のアルゴリズムは他のアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-02-03T06:53:00Z) - Dynamic Virtual Network Embedding Algorithm based on Graph Convolution
Neural Network and Reinforcement Learning [15.394489762270162]
本稿では,このアルゴリズムに強化学習(RL)とグラフニューラルネットワーク(GNN)理論を適用した新しいタイプのVNEアルゴリズムを提案する。
自己定義された適合行列と適合値に基づいて,アルゴリズム実装の目的関数を設定し,効率的な動的VNEアルゴリズムを実現し,資源の断片化の度合いを効果的に低減した。
論文 参考訳（メタデータ） (2022-02-03T02:37:45Z) - Dynamic Channel Access via Meta-Reinforcement Learning [0.8223798883838329]
モデル非依存型メタラーニング(MAML)の手法を取り入れたメタDRLフレームワークを提案する。
同じ分布から引き出された異なるタスクに適応するためには、勾配降下がわずかに必要であることが示される。
論文 参考訳（メタデータ） (2021-12-24T15:04:43Z) - Subquadratic Overparameterization for Shallow Neural Networks [60.721751363271146]
私たちは、標準的なニューラルトレーニング戦略を採用することができる分析フレームワークを提供しています。
我々は、Desiderata viaak-Lojasiewicz, smoothness, and standard assumptionsを達成する。
論文 参考訳（メタデータ） (2021-11-02T20:24:01Z) - Deep Adaptive Inference Networks for Single Image Super-Resolution [72.7304455761067]
シングルイメージ超解像(SISR)は、ディープ畳み込みニューラルネットワーク(CNN)の展開により、近年大きく進歩している。
本稿では,深部SISR(AdaDSR)の適応型推論ネットワークを活用することで,この問題に対処する。
我々のAdaDSRは、SISRモデルをバックボーンとし、画像の特徴とリソース制約を入力として取り、ローカルネットワーク深さのマップを予測する軽量アダプタモジュールを備える。
論文 参考訳（メタデータ） (2020-04-08T10:08:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。