論文の概要: Network Slicing via Transfer Learning aided Distributed Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2301.03262v1
• Date: Mon, 9 Jan 2023 10:55:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 18:57:05.319500
• Title: Network Slicing via Transfer Learning aided Distributed Deep Reinforcement Learning
• Title（参考訳）: 伝達学習によるネットワークスライシングによる分散深層強化学習
• Authors: Tianlun Hu, Qi Liao, Qiang Liu and Georg Carle
• Abstract要約: 本稿では, セル間リソース分割のためのマルチエージェント間類似性解析を用いた多エージェント深部強化学習(MADRL)手法を提案する。 提案手法は, 性能, 収束速度, サンプル効率の観点から, 最先端のソリューションよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 7.126310378721161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep reinforcement learning (DRL) has been increasingly employed to handle the dynamic and complex resource management in network slicing. The deployment of DRL policies in real networks, however, is complicated by heterogeneous cell conditions. In this paper, we propose a novel transfer learning (TL) aided multi-agent deep reinforcement learning (MADRL) approach with inter-agent similarity analysis for inter-cell inter-slice resource partitioning. First, we design a coordinated MADRL method with information sharing to intelligently partition resource to slices and manage inter-cell interference. Second, we propose an integrated TL method to transfer the learned DRL policies among different local agents for accelerating the policy deployment. The method is composed of a new domain and task similarity measurement approach and a new knowledge transfer approach, which resolves the problem of from whom to transfer and how to transfer. We evaluated the proposed solution with extensive simulations in a system-level simulator and show that our approach outperforms the state-of-the-art solutions in terms of performance, convergence speed and sample efficiency. Moreover, by applying TL, we achieve an additional gain over 27% higher than the coordinate MADRL approach without TL.
• Abstract（参考訳）: ネットワークスライシングにおける動的かつ複雑な資源管理を扱うために、深層強化学習(DRL)がますます採用されている。 しかし、実ネットワークへのdrlポリシーの配置は、異種細胞条件によって複雑である。 本稿では, セル間リソース分割のためのエージェント間類似性解析を用いた, トランスファーラーニング(TL)支援マルチエージェントディープ強化学習(MADRL)アプローチを提案する。 まず,情報共有を伴う協調MADRL法を設計し,資源をスライスに分割し,セル間干渉を管理する。 第2に、各ローカルエージェント間で学習したDRLポリシーを転送し、ポリシー展開を高速化する統合TL手法を提案する。 本手法は,新しいドメインとタスク類似度測定手法と,どのドメインを転送するか,どのように転送するかという問題を解く知識伝達手法から構成される。 提案手法は,システムレベルシミュレータで大規模シミュレーションを行い,性能,収束速度,サンプル効率の点で最先端のソリューションよりも優れていることを示す。 さらに,TLを適用することで,TLのない座標MADRLアプローチよりも27%以上の利得が得られる。

関連論文リスト

• Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
  我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。 最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T01:36:13Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [94.2860766709971]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph Reinforcement Learning [42.175067773481416]
  我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。 具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。 拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
  論文  参考訳（メタデータ） (2023-11-07T06:43:15Z)
• Safe and Accelerated Deep Reinforcement Learning-based O-RAN Slicing: A Hybrid Transfer Learning Approach [20.344810727033327]
  我々は,DRLをベースとしたO-RANスライシングにおいて,安全かつ迅速な収束を実現するためのハイブリッドTL支援手法を提案し,設計する。 提案されたハイブリッドアプローチは、少なくとも7.7%と20.7%は、平均的な初期報酬値と収束シナリオの割合を改善している。
  論文  参考訳（メタデータ） (2023-09-13T18:58:34Z)
• Inter-Cell Network Slicing With Transfer Learning Empowered Multi-Agent Deep Reinforcement Learning [6.523367518762879]
  ネットワークスライシングにより、オペレータは共通の物理インフラ上で多様なアプリケーションを効率的にサポートできる。 ネットワーク展開の恒常的に増大する密度化は、複雑で非自明な細胞間干渉を引き起こす。 複数の深層強化学習(DRL)エージェントを用いたDIRPアルゴリズムを開発し,各セルの資源分配を協調的に最適化する。
  論文  参考訳（メタデータ） (2023-06-20T14:14:59Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Enforcing the consensus between Trajectory Optimization and Policy Learning for precise robot control [75.28441662678394]
  強化学習(RL)と軌道最適化(TO)は強い相補的優位性を示す。 グローバルコントロールポリシを迅速に学習する上で,これらのアプローチに対して,いくつかの改良が提案されている。
  論文  参考訳（メタデータ） (2022-09-19T13:32:09Z)
• Hierarchical Reinforcement Learning with Opponent Modeling for Distributed Multi-agent Cooperation [13.670618752160594]
  深層強化学習(DRL)はエージェントと環境の相互作用を通じて多エージェント協調に有望なアプローチを提供する。 従来のDRLソリューションは、ポリシー探索中に連続的なアクション空間を持つ複数のエージェントの高次元に悩まされる。 効率的な政策探索のための高レベル意思決定と低レベル個別制御を用いた階層型強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-25T19:09:29Z)
• Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
  複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。 本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:24:47Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)
• Efficient Deep Reinforcement Learning via Adaptive Policy Transfer [50.51637231309424]
  強化学習(RL)を促進するための政策伝達フレームワーク(PTF)の提案 我々のフレームワークは、いつ、いつ、どのソースポリシーがターゲットポリシーの再利用に最適なのか、いつそれを終了するかを学習する。 実験結果から,学習過程を著しく加速し,最先端の政策伝達手法を超越していることが判明した。
  論文  参考訳（メタデータ） (2020-02-19T07:30:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。