論文の概要: Relational Deep Reinforcement Learning for Routing in Wireless Networks
- arxiv url: http://arxiv.org/abs/2012.15700v1
- Date: Thu, 31 Dec 2020 16:28:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-17 17:02:01.271091
- Title: Relational Deep Reinforcement Learning for Routing in Wireless Networks
- Title（参考訳）: 無線ネットワークにおけるルーティングのための関係強化学習
- Authors: Victoria Manfredi, Alicia Wolfe, Bing Wang, Xiaolan Zhang
- Abstract要約: 我々は,トラフィックパターン,混雑レベル,ネットワーク接続性,リンクダイナミクスを一般化した,深層強化学習に基づく分散ルーティング戦略を開発した。
提案アルゴリズムは,パケットの配送やパケット毎の遅延に対して,最短経路とバックプレッシャルーティングに優れる。
- 参考スコア（独自算出の注目度）: 2.997420836766863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While routing in wireless networks has been studied extensively, existing
protocols are typically designed for a specific set of network conditions and
so cannot accommodate any drastic changes in those conditions. For instance,
protocols designed for connected networks cannot be easily applied to
disconnected networks. In this paper, we develop a distributed routing strategy
based on deep reinforcement learning that generalizes to diverse traffic
patterns, congestion levels, network connectivity, and link dynamics. We make
the following key innovations in our design: (i) the use of relational features
as inputs to the deep neural network approximating the decision space, which
enables our algorithm to generalize to diverse network conditions, (ii) the use
of packet-centric decisions to transform the routing problem into an episodic
task by viewing packets, rather than wireless devices, as reinforcement
learning agents, which provides a natural way to propagate and model rewards
accurately during learning, and (iii) the use of extended-time actions to model
the time spent by a packet waiting in a queue, which reduces the amount of
training data needed and allows the learning algorithm to converge more
quickly. We evaluate our routing algorithm using a packet-level simulator and
show that the policy our algorithm learns during training is able to generalize
to larger and more congested networks, different topologies, and diverse link
dynamics. Our algorithm outperforms shortest path and backpressure routing with
respect to packets delivered and delay per packet.
- Abstract（参考訳）: 無線ネットワークのルーティングは広く研究されてきたが、既存のプロトコルは通常、特定のネットワーク条件のために設計されているため、そのような条件における劇的な変化に対応できない。
例えば、接続されたネットワーク用に設計されたプロトコルは、切断されたネットワークに容易に適用できない。
本稿では,多様なトラフィックパターン,混雑レベル,ネットワーク接続性,リンクダイナミクスを一般化した,深層強化学習に基づく分散ルーティング戦略を開発する。
We make the following key innovations in our design: (i) the use of relational features as inputs to the deep neural network approximating the decision space, which enables our algorithm to generalize to diverse network conditions, (ii) the use of packet-centric decisions to transform the routing problem into an episodic task by viewing packets, rather than wireless devices, as reinforcement learning agents, which provides a natural way to propagate and model rewards accurately during learning, and (iii) the use of extended-time actions to model the time spent by a packet waiting in a queue, which reduces the amount of training data needed and allows the learning algorithm to converge more quickly.
我々は,パケットレベルのシミュレータを用いてルーティングアルゴリズムを評価し,トレーニング中に学習するポリシが,より大規模で密集したネットワーク,異なるトポロジ,多様なリンクダイナミクスに一般化可能であることを示す。
提案アルゴリズムは,パケットの配送やパケット毎の遅延に対して,最短経路とバックプレッシャルーティングに優れる。
関連論文リスト
- Learning Sub-Second Routing Optimization in Computer Networks requires Packet-Level Dynamics [15.018408728324887]
強化学習は、ルーティング決定を提供するネットワーク表現を学ぶのに役立つ。
汎用ネットワークトポロジにおけるルーティングのための最初のパケットレベル強化学習環境であるtextitPackeRL$を提示する。
また、サブ秒間ルーティング最適化を学習するための2つの新しいアルゴリズムも導入する。
論文 参考訳（メタデータ） (2024-10-14T11:03:46Z) - Learning State-Augmented Policies for Information Routing in
Communication Networks [92.59624401684083]
我々は,グラフニューラルネットワーク(GNN)アーキテクチャを用いて,ソースノードの集約情報を最大化する,新たなステート拡張(SA)戦略を開発した。
教師なし学習手法を利用して、GNNアーキテクチャの出力を最適情報ルーティング戦略に変換する。
実験では,実時間ネットワークトポロジの評価を行い,アルゴリズムの有効性を検証した。
論文 参考訳（メタデータ） (2023-09-30T04:34:25Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna
Tuning [60.94661435297309]
モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。
本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。
シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
論文 参考訳（メタデータ） (2023-01-20T17:06:34Z) - Robust Path Selection in Software-defined WANs using Deep Reinforcement
Learning [18.586260468459386]
本稿では、経路計算と経路更新のオーバーヘッドを考慮した、ネットワーク内の経路選択を行うデータ駆動アルゴリズムを提案する。
提案手法は,ECMPなどの従来のTE方式に比べてリンク利用率を40%削減できる。
論文 参考訳（メタデータ） (2022-12-21T16:08:47Z) - Learning an Adaptive Forwarding Strategy for Mobile Wireless Networks:
Resource Usage vs. Latency [2.608874253011]
我々は、モバイルネットワークのためのスケーラブルで汎用的な単一コピールーティング戦略を学ぶために、深層強化学習を使用します。
我々の学習した単一コピールーティング戦略は、最適戦略を除いて遅延の点で他のすべての戦略より優れていることを示す。
論文 参考訳（メタデータ） (2022-07-23T01:17:23Z) - MAMRL: Exploiting Multi-agent Meta Reinforcement Learning in WAN Traffic
Engineering [4.051011665760136]
ロードバランシングやフロースケジューリング、パケット配信時間の改善といったトラフィック最適化の課題は、広域ネットワーク(WAN)におけるオンライン意思決定の問題である。
我々は,マルチエージェントメタ強化学習(MAMRL)を用いて,各パケットの次ホップを最小限の時間で決定できるモデルフリーアプローチを開発し,評価する。
論文 参考訳（メタデータ） (2021-11-30T03:01:01Z) - Offline Contextual Bandits for Wireless Network Optimization [107.24086150482843]
本稿では,ユーザ要求の変化に応じて,ネットワーク内の各セルの構成パラメータを自動的に調整するポリシの学習方法について検討する。
私たちのソリューションは、オフライン学習のための既存の方法を組み合わせて、この文脈で生じる重要な課題を克服する原則的な方法でそれらを適応します。
論文 参考訳（メタデータ） (2021-11-11T11:31:20Z) - Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。
ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
論文 参考訳（メタデータ） (2021-07-28T06:20:34Z) - Better than the Best: Gradient-based Improper Reinforcement Learning for
Network Scheduling [60.48359567964899]
パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。
我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
論文 参考訳（メタデータ） (2021-05-01T10:18:34Z) - All at Once Network Quantization via Collaborative Knowledge Transfer [56.95849086170461]
オールオンス量子化ネットワークを効率的にトレーニングするための新しい共同知識伝達アプローチを開発しています。
具体的には、低精度の学生に知識を伝達するための高精度のエンクォータを選択するための適応的選択戦略を提案する。
知識を効果的に伝達するために,低精度の学生ネットワークのブロックを高精度の教師ネットワークのブロックにランダムに置き換える動的ブロックスワッピング法を開発した。
論文 参考訳（メタデータ） (2021-03-02T03:09:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。