論文の概要: DHRL-FNMR: An Intelligent Multicast Routing Approach Based on Deep
Hierarchical Reinforcement Learning in SDN
- arxiv url: http://arxiv.org/abs/2305.19077v1
- Date: Tue, 30 May 2023 14:40:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 15:56:20.742602
- Title: DHRL-FNMR: An Intelligent Multicast Routing Approach Based on Deep
Hierarchical Reinforcement Learning in SDN
- Title(参考訳): DHRL-FNMR:SDNにおける深層階層強化学習に基づくインテリジェントマルチキャストルーティング手法
- Authors: Miao Ye, Chenwei Zhao, Xingsi Xue, Jinqiang Li, Hongwen Hu, Yejin Yang
and Qiuxiang Jiang
- Abstract要約: Software-Defined Networking (SDN) における最適マルチキャストツリー問題はNPハード最適化問題である。
上記の問題を回避するために,階層的強化学習に基づくインテリジェントマルチキャストルーティングアルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.8189319151315168
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The optimal multicast tree problem in the Software-Defined Networking (SDN)
multicast routing is an NP-hard combinatorial optimization problem. Although
existing SDN intelligent solution methods, which are based on deep
reinforcement learning, can dynamically adapt to complex network link state
changes, these methods are plagued by problems such as redundant branches,
large action space, and slow agent convergence. In this paper, an SDN
intelligent multicast routing algorithm based on deep hierarchical
reinforcement learning is proposed to circumvent the aforementioned problems.
First, the multicast tree construction problem is decomposed into two
sub-problems: the fork node selection problem and the construction of the
optimal path from the fork node to the destination node. Second, based on the
information characteristics of SDN global network perception, the multicast
tree state matrix, link bandwidth matrix, link delay matrix, link packet loss
rate matrix, and sub-goal matrix are designed as the state space of intrinsic
and meta controllers. Then, in order to mitigate the excessive action space,
our approach constructs different action spaces at the upper and lower levels.
The meta-controller generates an action space using network nodes to select the
fork node, and the intrinsic controller uses the adjacent edges of the current
node as its action space, thus implementing four different action selection
strategies in the construction of the multicast tree. To facilitate the
intelligent agent in constructing the optimal multicast tree with greater
speed, we developed alternative reward strategies that distinguish between
single-step node actions and multi-step actions towards multiple destination
nodes.
- Abstract(参考訳): Software-Defined Networking (SDN) における最適マルチキャストツリー問題はNPハード組合せ最適化問題である。
深い強化学習に基づく既存のSDNインテリジェントソリューション手法は、複雑なネットワークリンク状態の変化に動的に適応できるが、これらの手法は冗長分岐、大きなアクション空間、遅いエージェント収束といった問題に悩まされている。
本稿では,上記の問題を回避すべく,階層的強化学習に基づくsdnインテリジェントマルチキャストルーティングアルゴリズムを提案する。
まず、マルチキャストツリー構築問題は、フォークノード選択問題と、フォークノードから宛先ノードへの最適なパスの構築という2つのサブ問題に分解される。
第2に,SDNグローバルネットワーク知覚の情報特性に基づいて,マルチキャストツリー状態行列,リンク帯域幅行列,リンク遅延行列,リンクパケット損失率行列,サブゴール行列を固有およびメタコントローラの状態空間として設計する。
そして、過剰な動作空間を緩和するために、我々のアプローチは、上層と下層レベルで異なるアクション空間を構築します。
メタコントローラはネットワークノードを使用してforkノードを選択するアクションスペースを生成し、本質コントローラは現在のノードの隣接エッジをアクションスペースとして使用し、マルチキャストツリーの構築において4つの異なるアクション選択戦略を実装する。
最適なマルチキャストツリーを高速に構築する際の知的エージェントを容易にするために,単一ステップノードアクションと複数の宛先ノードに対するマルチステップアクションを区別する報奨戦略を開発した。
関連論文リスト
- Reinforcement Learning for Node Selection in Branch-and-Bound [58.740509566888676]
現在の最先端セレクタは手作りのアンサンブルを使用して、ナイーブなサブノードセレクタと、個々のノードデータに依存する学習ノードセレクタを自動的に切り替える。
本稿では,木全体の状態を考慮した強化学習(RL)を用いた2次元シミュレーション手法を提案する。
論文 参考訳(メタデータ) (2023-09-29T19:55:56Z) - Multi Agent DeepRL based Joint Power and Subchannel Allocation in IAB
networks [0.0]
統合アクセスとバックハウリング(IRL)は、将来の世代におけるより高いデータレートに対する前例のない要求を満たすための、実行可能なアプローチである。
本稿では,分数ノードに付随する巨大なアクション空間の問題を,Deep Q-Learning Networkを用いて処理する方法を示す。
論文 参考訳(メタデータ) (2023-08-31T21:30:25Z) - Intelligent multicast routing method based on multi-agent deep
reinforcement learning in SDWN [4.521033397097599]
マルチキャスト通信技術は、デバイス密度の高い無線環境に広く応用されている。
本稿では,ソフトウェア定義無線ネットワーク(SDWN)環境におけるマルチエージェント深部強化学習(MADRL-MR)に基づく新しいマルチキャストルーティング手法を提案する。
シミュレーション実験により,MADRL-MRはスループット,遅延,パケット損失率などの観点から,既存のアルゴリズムよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-05-12T14:05:03Z) - DRL-M4MR: An Intelligent Multicast Routing Approach Based on DQN Deep
Reinforcement Learning in SDN [4.904736570736502]
ソフトウェア定義ネットワーク(SDN)における最適マルチキャストルーティング問題は、多目的最適化問題として最適化される。
深部Qネットワーク(DQN)深部強化学習(DRL)法に基づくインテリジェントマルチキャストルーティングアルゴリズムDRL-M4MRはSDNでマルチキャストツリーを構築するために設計されている。
実験の結果,DRL-M4MRによるマルチキャストツリー構築は,既存のアルゴリズムと比較して,トレーニング後の帯域幅,遅延,パケット損失率を向上できることがわかった。
論文 参考訳(メタデータ) (2022-07-31T07:33:54Z) - Hierarchical Multi-Agent DRL-Based Framework for Joint Multi-RAT
Assignment and Dynamic Resource Allocation in Next-Generation HetNets [21.637440368520487]
本稿では,次世代無線ネットワーク(HetNets)における共同最適無線アクセス技術(RATs)の割り当てと電力割り当てによるコストアウェアダウンリンク総和率の問題について考察する。
本稿では,DeepRAT(DeepRAT)と呼ばれる階層型多エージェント深層強化学習(DRL)フレームワークを提案する。
特に、DeepRATフレームワークは、問題を2つの主要なステージに分解する: 単一エージェントのDeep Q Networkアルゴリズムを実装するRATs-EDs割り当てステージと、マルチエージェントのDeep Deterministic Policy Gradientを利用するパワー割り当てステージである。
論文 参考訳(メタデータ) (2022-02-28T09:49:44Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳(メタデータ) (2021-06-15T09:03:28Z) - Joint Deep Reinforcement Learning and Unfolding: Beam Selection and
Precoding for mmWave Multiuser MIMO with Lens Arrays [54.43962058166702]
離散レンズアレイを用いたミリ波マルチユーザマルチインプット多重出力(MU-MIMO)システムに注目が集まっている。
本研究では、DLA を用いた mmWave MU-MIMO システムのビームプリコーディング行列の共同設計について検討する。
論文 参考訳(メタデータ) (2021-01-05T03:55:04Z) - Neural Architecture Search as Sparse Supernet [78.09905626281046]
本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。
我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。
スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
論文 参考訳(メタデータ) (2020-07-31T14:51:52Z) - Iterative Algorithm Induced Deep-Unfolding Neural Networks: Precoding
Design for Multiuser MIMO Systems [59.804810122136345]
本稿では,AIIDNN(ディープ・アンフォールディング・ニューラルネット)を一般化した,ディープ・アンフォールディングのためのフレームワークを提案する。
古典的重み付き最小二乗誤差(WMMSE)反復アルゴリズムの構造に基づく効率的なIAIDNNを提案する。
提案したIAIDNNは,計算複雑性を低減した反復WMMSEアルゴリズムの性能を効率よく向上することを示す。
論文 参考訳(メタデータ) (2020-06-15T02:57:57Z) - DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。
遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。
画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文 参考訳(メタデータ) (2020-03-30T17:59:18Z) - Multiple Access in Dynamic Cell-Free Networks: Outage Performance and
Deep Reinforcement Learning-Based Design [24.632250413917816]
将来のセルフリー(またはセルレス)無線ネットワークでは、地理的領域の多数のデバイスが同時に多数の分散アクセスポイント(AP)によって提供される。
我々は,多数のデバイスやAPが存在する場合に,ユーザの信号の共同処理の複雑さを低減するために,新しい動的セルフリーネットワークアーキテクチャを提案する。
システム設定では, DDPG-DDQN方式は, 網羅的な検索ベース設計により, 達成可能なレートの約78%を達成できることがわかった。
論文 参考訳(メタデータ) (2020-01-29T03:00:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。