論文の概要: RayNet: A Simulation Platform for Developing Reinforcement
Learning-Driven Network Protocols
- arxiv url: http://arxiv.org/abs/2302.04519v2
- Date: Wed, 4 Oct 2023 07:27:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-05 22:29:59.819997
- Title: RayNet: A Simulation Platform for Developing Reinforcement
Learning-Driven Network Protocols
- Title（参考訳）: raynet:強化学習駆動ネットワークプロトコル開発のためのシミュレーションプラットフォーム
- Authors: Luca Giacomoni, Basil Benny, George Parisis
- Abstract要約: RayNetは、RLベースのネットワークプロトコルを開発するためのスケーラブルで適応可能なシミュレーションプラットフォームである。
RayNetは、完全にプログラム可能なネットワークシミュレータであるOMNeT++と、分散RLのためのスケーラブルなトレーニングプラットフォームであるRay/RLlibを統合している。
我々は、レイネットがRLベースの研究に有用なプラットフォームであることを示す概念実証として、シンプルなRLベースの渋滞制御アプローチを開発した。
- 参考スコア（独自算出の注目度）: 1.642094639107215
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reinforcement Learning (RL) has gained significant momentum in the
development of network protocols. However, RL-based protocols are still in
their infancy, and substantial research is required to build deployable
solutions. Developing a protocol based on RL is a complex and challenging
process that involves several model design decisions and requires significant
training and evaluation in real and simulated network topologies. Network
simulators offer an efficient training environment for RL-based protocols,
because they are deterministic and can run in parallel. In this paper, we
introduce \textit{RayNet}, a scalable and adaptable simulation platform for the
development of RL-based network protocols. RayNet integrates OMNeT++, a fully
programmable network simulator, with Ray/RLlib, a scalable training platform
for distributed RL. RayNet facilitates the methodical development of RL-based
network protocols so that researchers can focus on the problem at hand and not
on implementation details of the learning aspect of their research. We
developed a simple RL-based congestion control approach as a proof of concept
showcasing that RayNet can be a valuable platform for RL-based research in
computer networks, enabling scalable training and evaluation. We compared
RayNet with \textit{ns3-gym}, a platform with similar objectives to RayNet, and
showed that RayNet performs better in terms of how fast agents can collect
experience in RL environments.
- Abstract（参考訳）: 強化学習(RL)はネットワークプロトコルの開発において大きな勢いを増している。
しかし、RLベースのプロトコルはまだ初期段階であり、デプロイ可能なソリューションを構築するにはかなりの研究が必要である。
rlに基づくプロトコルの開発は、いくつかのモデル設計の決定を伴う複雑で困難なプロセスであり、実ネットワークトポロジーとシミュレーションネットワークトポロジーにおいて重要なトレーニングと評価を必要とする。
ネットワークシミュレータは、決定論的であり並列実行が可能なため、RLベースのプロトコルの効率的なトレーニング環境を提供する。
本稿では,RL ベースのネットワークプロトコルを開発するためのスケーラブルで適応可能なシミュレーションプラットフォームである \textit{RayNet} を紹介する。
RayNetは、完全にプログラム可能なネットワークシミュレータであるOMNeT++と、分散RLのためのスケーラブルなトレーニングプラットフォームであるRay/RLlibを統合している。
raynetはrlベースのネットワークプロトコルの方法論的な開発を促進するので、研究者は研究の学習側面の実装の詳細ではなく、目の前の問題に集中することができる。
我々は,コンピュータネットワークにおけるRLベースの研究において,RayNetが有用なプラットフォームになり得ることを示す概念実証として,シンプルなRLベースの渋滞制御手法を開発した。
RayNetと同じような目的を持つプラットフォームである‘textit{ns3-gym}’と比較したところ、エージェントがRL環境での体験を迅速に収集できるという点で、RayNetは優れたパフォーマンスを示している。
関連論文リスト
- RLLTE: Long-Term Evolution Project of Reinforcement Learning [48.181733263496746]
本稿では,RLLTEについて紹介する。RLLTEは長期的進化であり,高度にモジュール化された,強化学習研究と応用のためのオープンソースフレームワークである。
トップノーチアルゴリズムの実装を提供するだけでなく、RLLTEはアルゴリズム開発のためのツールキットとしても機能する。
RLLTEは、RLエンジニアリングの基準を設定し、産業や学界に高い刺激を与えると期待されている。
論文 参考訳（メタデータ） (2023-09-28T12:30:37Z) - A Neuromorphic Architecture for Reinforcement Learning from Real-Valued
Observations [0.34410212782758043]
強化学習(RL)は複雑な環境における意思決定のための強力なフレームワークを提供する。
本稿では,実測値を用いてRL問題を解くための新しいスパイキングニューラルネットワーク(SNN)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-07-06T12:33:34Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳（メタデータ） (2023-02-02T18:27:20Z) - LCRL: Certified Policy Synthesis via Logically-Constrained Reinforcement
Learning [78.2286146954051]
LCRLは未知決定プロセス(MDP)上でのモデルフリー強化学習(RL)アルゴリズムを実装している
本稿では,LCRLの適用性,使いやすさ,拡張性,性能を示すケーススタディを提案する。
論文 参考訳（メタデータ） (2022-09-21T13:21:00Z) - FORLORN: A Framework for Comparing Offline Methods and Reinforcement
Learning for Optimization of RAN Parameters [0.0]
本稿では,ネットワーク環境におけるRLエージェントの性能をns-3でシミュレートする新しいフレームワークを提案する。
このフレームワークでは、ドメイン固有の知識を持たないRLエージェントが、静的シナリオにおけるオフライン最適化に適合するように、Radio Access Network(RAN)パラメータを効率的に調整する方法を学習できることを実証する。
論文 参考訳（メタデータ） (2022-09-08T12:58:09Z) - Federated Deep Reinforcement Learning for the Distributed Control of
NextG Wireless Networks [16.12495409295754]
次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。
データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。
深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
論文 参考訳（メタデータ） (2021-12-07T03:13:20Z) - DRL-based Slice Placement Under Non-Stationary Conditions [0.8459686722437155]
我々は,非定常プロセスに従ってスライス要求が到着するという仮定の下で,最適ネットワークスライス配置のためのオンライン学習を検討する。
具体的には、2つの純DRLアルゴリズムと2つのハイブリッドDRLヒューリスティックアルゴリズムを提案する。
提案したハイブリッドDRLヒューリスティックアルゴリズムは、収束を達成するために、純DRLよりも少ない3桁の学習エピソードを必要とすることを示す。
論文 参考訳（メタデータ） (2021-08-05T10:05:12Z) - RL-DARTS: Differentiable Architecture Search for Reinforcement Learning [62.95469460505922]
我々は、強化学習(RL)における微分可能なアーキテクチャ探索(DARTS)の最初の応用の1つであるRL-DARTSを紹介する。
画像エンコーダをDARTSスーパーネットに置き換えることにより、検索方法はサンプリング効率が高く、余分な計算資源が最小限必要であり、また、既存のコードに小さな変更を加える必要がなく、オフ・ポリティクスとオン・ポリティクスのRLアルゴリズムとも互換性がある。
スーパーネットはより優れたセルを徐々に学習し、手作業で設計したポリシーに対して高い競争力を持つ代替アーキテクチャへとつながり、RLポリシーの以前の設計選択も検証できることを示す。
論文 参考訳（メタデータ） (2021-06-04T03:08:43Z) - Learning to Prune Deep Neural Networks via Reinforcement Learning [64.85939668308966]
PuRLは、ニューラルネットワークのプルーニングのためのディープ強化学習ベースのアルゴリズムである。
現在の最先端の手法に匹敵する幅と精度を実現している。
論文 参考訳（メタデータ） (2020-07-09T13:06:07Z) - Review, Analysis and Design of a Comprehensive Deep Reinforcement
Learning Framework [6.527722484694189]
本稿では,コネクテッド・ザ・ドット・ディープ・RLアーキテクチャの設計において重要な役割を果たす包括的ソフトウェア・フレームワークを提案する。
我々は、柔軟性、堅牢性、スケーラビリティを厳格に保証する、深いRLベースのソフトウェアフレームワークを設計、開発しました。
論文 参考訳（メタデータ） (2020-02-27T02:38:47Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳（メタデータ） (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。