論文の概要: An open source Multi-Agent Deep Reinforcement Learning Routing Simulator for satellite networks

• arxiv url: http://arxiv.org/abs/2407.11047v1
• Date: Mon, 8 Jul 2024 13:09:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 12:09:54.859705
• Title: An open source Multi-Agent Deep Reinforcement Learning Routing Simulator for satellite networks
• Title（参考訳）: 衛星ネットワークのためのマルチエージェント深層学習ルーティングシミュレータ
• Authors: Federico Lozano-Cuadra, Mathias D. Thorsager, Israel Leyva-Mayorga, Beatriz Soret,
• Abstract要約: 本稿では,低軌道衛星コンステレーション(LSatC)におけるパケットルーティングのためのオープンソースシミュレータを提案する。 Pythonで実装されたシミュレータは、従来のDijkstraベースのルーティングと、より高度な学習ソリューションをサポートする。 その結果、Reinforcement Learning(RL)ベースのルーティングポリシを使用して、エンドツーエンド(E2E)のレイテンシを大幅に改善した。
• 参考スコア（独自算出の注目度）: 7.635788661450053
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces an open source simulator for packet routing in Low Earth Orbit Satellite Constellations (LSatCs) considering the dynamic system uncertainties. The simulator, implemented in Python, supports traditional Dijkstra's based routing as well as more advanced learning solutions, specifically Q-Routing and Multi-Agent Deep Reinforcement Learning (MA-DRL) from our previous work. It uses an event-based approach with the SimPy module to accurately simulate packet creation, routing and queuing, providing real-time tracking of queues and latency. The simulator is highly configurable, allowing adjustments in routing policies, traffic, ground and space layer topologies, communication parameters, and learning hyperparameters. Key features include the ability to visualize system motion and track packet paths. Results highlight significant improvements in end-to-end (E2E) latency using Reinforcement Learning (RL)-based routing policies compared to traditional methods. The source code, the documentation and a Jupyter notebook with post-processing results and analysis are available on GitHub.
• Abstract（参考訳）: 本稿では,低軌道衛星コンステレーション(LSatC)におけるパケットルーティングの動的不確実性を考慮したオープンソースのシミュレータを提案する。 Python で実装されたシミュレータは,従来の Dijkstra ベースのルーティングに加えて,Q-Routing や Multi-Agent Deep Reinforcement Learning (MA-DRL) といった高度な学習ソリューションもサポートしています。 SimPyモジュールによるイベントベースのアプローチを使用して、パケットの生成、ルーティング、キューを正確にシミュレートし、キューとレイテンシのリアルタイムトラッキングを提供する。 シミュレータは高度に設定可能で、ルーティングポリシー、トラフィック、地上および宇宙層トポロジ、通信パラメータ、学習ハイパーパラメータの調整が可能である。 主な機能は、システムの動きを視覚化し、パケットパスを追跡する機能である。 その結果、従来の方法と比較して、強化学習(RL)ベースのルーティングポリシを使用して、エンドツーエンド(E2E)のレイテンシを大幅に改善した。 ソースコード、ドキュメント、および後処理の結果と分析を備えたJupyterノートはGitHubで入手できる。

関連論文リスト

• Learning Sub-Second Routing Optimization in Computer Networks requires Packet-Level Dynamics [15.018408728324887]
  強化学習は、ルーティング決定を提供するネットワーク表現を学ぶのに役立つ。 汎用ネットワークトポロジにおけるルーティングのための最初のパケットレベル強化学習環境であるtextitPackeRL$を提示する。 また、サブ秒間ルーティング最適化を学習するための2つの新しいアルゴリズムも導入する。
  論文  参考訳（メタデータ） (2024-10-14T11:03:46Z)
• Intelligent Routing Algorithm over SDN: Reusable Reinforcement Learning Approach [1.799933345199395]
  本稿では,再利用可能なRLSRルーティングアルゴリズム RLSR-Routing をSDN上で開発する。 我々のアルゴリズムは従来の手法よりもロードバランシングの点で優れた性能を示している。 また、複数のトラフィック要求のパスを見つける際には、再利用不可能なRLアプローチよりも早く収束する。
  論文  参考訳（メタデータ） (2024-09-23T17:15:24Z)
• Autonomous Vehicle Controllers From End-to-End Differentiable Simulation [60.05963742334746]
  そこで我々は,AVコントローラのトレーニングにAPG(analytic Policy gradients)アプローチを適用可能なシミュレータを提案し,その設計を行う。 提案するフレームワークは, エージェントがより根底的なポリシーを学ぶのを助けるために, 環境力学の勾配を役立てる, エンド・ツー・エンドの訓練ループに, 微分可能シミュレータを組み込む。 ダイナミクスにおけるパフォーマンスとノイズに対する堅牢性の大幅な改善と、全体としてより直感的なヒューマンライクな処理が見られます。
  論文  参考訳（メタデータ） (2024-09-12T11:50:06Z)
• Gaussian Splatting to Real World Flight Navigation Transfer with Liquid Networks [93.38375271826202]
  本研究では,シミュレート・トゥ・リアルな視覚四重項ナビゲーションタスクにおける分布シフトに対する一般化とロバスト性を改善する手法を提案する。 まず,擬似飛行力学とガウススプラッティングを統合してシミュレータを構築し,その後,液状ニューラルネットワークを用いてロバストなナビゲーションポリシーを訓練する。 このようにして、我々は3次元ガウススプラッティングラディアンス場レンダリング、専門家による実演訓練データのプログラミング、およびLiquid Networkのタスク理解能力の進歩を組み合わせたフルスタックの模倣学習プロトコルを得る。
  論文  参考訳（メタデータ） (2024-06-21T13:48:37Z)
• Cross-domain Learning Framework for Tracking Users in RIS-aided Multi-band ISAC Systems with Sparse Labeled Data [55.70071704247794]
  統合センシング・通信(ISAC)は6G通信において重要であり、再構成可能なインテリジェントサーフェス(RIS)の急速な発展によって促進される 本稿では,複数の帯域にまたがるマルチモーダルCSIインジケータを協調的に活用し,クロスドメイン方式で追跡機能をモデル化するX2Trackフレームワークを提案する。 X2Trackの下では、トランスフォーマーニューラルネットワークと逆学習技術に基づいて、トラッキングエラーを最小限に抑える効率的なディープラーニングアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-05-10T08:04:27Z)
• Actor-Critic Scheduling for Path-Aware Air-to-Ground Multipath Multimedia Delivery [5.01187288554981]
  Actor-Critic (AC) RLアルゴリズムに基づくマルチパスシステムにおけるリアルタイムマルチメディア配信のための新しいスケジューラを提案する。 RLエージェントとして機能するスケジューラは、経路選択、経路レート割り当て、フロー保護のための冗長性推定のための最適ポリシーをリアルタイムで学習する。
  論文  参考訳（メタデータ） (2022-04-28T08:28:25Z)
• Deep Learning Aided Packet Routing in Aeronautical Ad-Hoc Networks Relying on Real Flight Data: From Single-Objective to Near-Pareto Multi-Objective Optimization [79.96177511319713]
  航空アドホックネットワーク(AANET)のルーティングを支援するために、ディープラーニング(DL)を起動する。 フォワードノードによって観測された局所的な地理的情報を最適な次のホップを決定するために必要な情報にマッピングするために、ディープニューラルネットワーク(DNN)が考案される。 DL支援ルーティングアルゴリズムを多目的シナリオに拡張し,遅延を最小化し,経路容量を最大化し,経路寿命を最大化する。
  論文  参考訳（メタデータ） (2021-10-28T14:18:22Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Tracking Performance of Online Stochastic Learners [57.14673504239551]
  オンラインアルゴリズムは、大規模なバッチにデータを保存したり処理したりすることなく、リアルタイムで更新を計算できるため、大規模な学習環境で人気がある。 一定のステップサイズを使用すると、これらのアルゴリズムはデータやモデル特性などの問題パラメータのドリフトに適応し、適切な精度で最適解を追跡する能力を持つ。 定常仮定に基づく定常状態性能とランダムウォークモデルによるオンライン学習者の追跡性能の関連性を確立する。
  論文  参考訳（メタデータ） (2020-04-04T14:16:27Z)
• Towards Cognitive Routing based on Deep Reinforcement Learning [17.637357380527583]
  本稿では,Deep Reinforcement Learning(DRL)に基づく認知的ルーティングの定義と実装アプローチを提案する。 DRLに基づく認知ルーティングの研究を容易にするために,DRLに基づくルーティングアルゴリズムの開発とシミュレーションのためのシミュレータRL4Netを導入する。 実例ネットワークトポロジのシミュレーション結果から,DDPGに基づくルーティングアルゴリズムはOSPFやランダムウェイトアルゴリズムよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2020-03-19T03:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。