論文の概要: Packet Routing with Graph Attention Multi-agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2107.13181v1
- Date: Wed, 28 Jul 2021 06:20:34 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-29 14:02:33.326211
- Title: Packet Routing with Graph Attention Multi-agent Reinforcement Learning
- Title(参考訳): グラフ注意マルチエージェント強化学習によるパケットルーティング
- Authors: Xuan Mai, Quanzhi Fu, Yi Chen
- Abstract要約: 我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。
ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
- 参考スコア(独自算出の注目度): 4.78921052969006
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Packet routing is a fundamental problem in communication networks that
decides how the packets are directed from their source nodes to their
destination nodes through some intermediate nodes. With the increasing
complexity of network topology and highly dynamic traffic demand, conventional
model-based and rule-based routing schemes show significant limitations, due to
the simplified and unrealistic model assumptions, and lack of flexibility and
adaption. Adding intelligence to the network control is becoming a trend and
the key to achieving high-efficiency network operation. In this paper, we
develop a model-free and data-driven routing strategy by leveraging
reinforcement learning (RL), where routers interact with the network and learn
from the experience to make some good routing configurations for the future.
Considering the graph nature of the network topology, we design a multi-agent
RL framework in combination with Graph Neural Network (GNN), tailored to the
routing problem. Three deployment paradigms, centralized, federated, and
cooperated learning, are explored respectively. Simulation results demonstrate
that our algorithm outperforms some existing benchmark algorithms in terms of
packet transmission delay and affordable load.
- Abstract(参考訳): パケットルーティングは、パケットのソースノードから目的地ノードへの転送方法を決定する通信ネットワークにおける基本的な問題である。
ネットワークトポロジの複雑さと非常にダイナミックなトラフィック需要の増大に伴い、従来のモデルベースおよびルールベースのルーティングスキームは、単純化された非現実的なモデル仮定と柔軟性と適応性の欠如により、重大な制限を示す。
ネットワーク制御へのインテリジェンスの追加は、高効率ネットワーク運用を実現するための鍵となりつつあります。
本稿では,ルータがネットワークと対話し,その経験から学習し,将来的なルーティング構成を構築するための強化学習(RL)を活用することにより,モデルフリーでデータ駆動型ルーティング戦略を開発する。
ネットワークトポロジのグラフ性を考慮したマルチエージェントrlフレームワークをgnn(graph neural network)と組み合わせて設計し,ルーティング問題に適応した。
集中型、連合型、協調型学習という3つのデプロイメントパラダイムがそれぞれ検討されている。
シミュレーションの結果,提案アルゴリズムはパケット伝送遅延や安価な負荷の点で,既存のベンチマークアルゴリズムよりも優れていることがわかった。
関連論文リスト
- A Deep Reinforcement Learning Approach for Adaptive Traffic Routing in
Next-gen Networks [1.1586742546971471]
次世代ネットワークは、トラフィックダイナミクスに基づいたネットワーク構成を自動化し、適応的に調整する必要がある。
交通政策を決定する伝統的な手法は、通常は手作りのプログラミング最適化とアルゴリズムに基づいている。
我々は適応的なトラフィックルーティングのための深層強化学習(DRL)アプローチを開発する。
論文 参考訳(メタデータ) (2024-02-07T01:48:29Z) - Learning Decentralized Traffic Signal Controllers with Multi-Agent Graph
Reinforcement Learning [42.175067773481416]
我々は,空間的時間的相関を捉えるために,環境観測性を改善した新しい分散制御アーキテクチャを設計する。
具体的には,道路ネットワークに収集された非構造データから相関関連情報を抽出するトポロジ対応情報集約戦略を開発する。
拡散畳み込みモジュールが開発され、新しいMARLアルゴリズムが作成され、エージェントにグラフ学習の能力を与える。
論文 参考訳(メタデータ) (2023-11-07T06:43:15Z) - Learning State-Augmented Policies for Information Routing in
Communication Networks [92.59624401684083]
我々は,グラフニューラルネットワーク(GNN)アーキテクチャを用いて,ソースノードの集約情報を最大化する,新たなステート拡張(SA)戦略を開発した。
教師なし学習手法を利用して、GNNアーキテクチャの出力を最適情報ルーティング戦略に変換する。
実験では,実時間ネットワークトポロジの評価を行い,アルゴリズムの有効性を検証した。
論文 参考訳(メタデータ) (2023-09-30T04:34:25Z) - An Intelligent SDWN Routing Algorithm Based on Network Situational
Awareness and Deep Reinforcement Learning [4.085916808788356]
本稿では、ネットワーク状況認識による深層強化学習に基づくインテリジェントルーティングアルゴリズム(DRL-PPONSA)を紹介する。
実験の結果,DRL-PPONSAはネットワークスループット,遅延,パケット損失率,無線ノード距離において従来のルーティング手法よりも優れていた。
論文 参考訳(メタデータ) (2023-05-12T14:18:09Z) - Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna
Tuning [60.94661435297309]
モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。
本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。
シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
論文 参考訳(メタデータ) (2023-01-20T17:06:34Z) - RouteNet-Erlang: A Graph Neural Network for Network Performance
Evaluation [5.56275556529722]
本稿では,コンピュータネットワークをモデル化するためのGNNアーキテクチャであるemphRouteNet-Erlangを提案する。
RouteNet-Erlangは複雑なトラフィックモデル、マルチキュースケジューリングポリシー、ルーティングポリシーをサポートし、正確な見積もりを提供する。
RouteNet-Erlangを最先端のQTモデルと比較した結果、すべてのネットワークシナリオにおいてQTよりも優れています。
論文 参考訳(メタデータ) (2022-02-28T17:09:53Z) - Learning Autonomy in Management of Wireless Random Networks [102.02142856863563]
本稿では,任意の数のランダム接続ノードを持つ無線ネットワークにおいて,分散最適化タスクに取り組む機械学習戦略を提案する。
我々は,ネットワークトポロジとは無関係に,前方および後方に計算を行う分散メッセージパスニューラルネットワーク(DMPNN)と呼ばれる,柔軟な深層ニューラルネットワーク形式を開発した。
論文 参考訳(メタデータ) (2021-06-15T09:03:28Z) - On Topology Optimization and Routing in Integrated Access and Backhaul
Networks: A Genetic Algorithm-based Approach [70.85399600288737]
IABネットワークにおけるトポロジ最適化とルーティングの問題について検討する。
我々は、IABノード配置と非IABバックホールリンク分布の両方に効率的な遺伝的アルゴリズムベースのスキームを開発する。
メッシュベースのIABネットワークを実現する上での課題について論じる。
論文 参考訳(メタデータ) (2021-02-14T21:52:05Z) - Relational Deep Reinforcement Learning for Routing in Wireless Networks [2.997420836766863]
我々は,トラフィックパターン,混雑レベル,ネットワーク接続性,リンクダイナミクスを一般化した,深層強化学習に基づく分散ルーティング戦略を開発した。
提案アルゴリズムは,パケットの配送やパケット毎の遅延に対して,最短経路とバックプレッシャルーティングに優れる。
論文 参考訳(メタデータ) (2020-12-31T16:28:21Z) - Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。
ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
論文 参考訳(メタデータ) (2020-10-02T16:50:26Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。