論文の概要: Dynamic Routing for Integrated Satellite-Terrestrial Networks: A
Constrained Multi-Agent Reinforcement Learning Approach
- arxiv url: http://arxiv.org/abs/2401.09455v1
- Date: Sat, 23 Dec 2023 03:36:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-22 09:29:38.483423
- Title: Dynamic Routing for Integrated Satellite-Terrestrial Networks: A
Constrained Multi-Agent Reinforcement Learning Approach
- Title(参考訳): 衛星-地上統合ネットワークの動的ルーティング:制約付きマルチエージェント強化学習アプローチ
- Authors: Yifeng Lyu, Han Hu, Rongfei Fan, Zhi Liu, Jianping An, Shiwen Mao
- Abstract要約: 地上局と衛星が共同でパケットを送信するためのパケットルーティングについて検討する。
CMADRと呼ばれる新しい制約付きマルチエージェント強化学習(MARL)動的ルーティングアルゴリズムを提案する。
その結果、CMADRはパケット遅延を最小21%と15%削減し、一方、厳しいエネルギー消費とパケット損失率の制約を満たし、いくつかのベースラインアルゴリズムより優れていた。
- 参考スコア(独自算出の注目度): 41.714453335170404
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The integrated satellite-terrestrial network (ISTN) system has experienced
significant growth, offering seamless communication services in remote areas
with limited terrestrial infrastructure. However, designing a routing scheme
for ISTN is exceedingly difficult, primarily due to the heightened complexity
resulting from the inclusion of additional ground stations, along with the
requirement to satisfy various constraints related to satellite service
quality. To address these challenges, we study packet routing with ground
stations and satellites working jointly to transmit packets, while prioritizing
fast communication and meeting energy efficiency and packet loss requirements.
Specifically, we formulate the problem of packet routing with constraints as a
max-min problem using the Lagrange method. Then we propose a novel constrained
Multi-Agent reinforcement learning (MARL) dynamic routing algorithm named
CMADR, which efficiently balances objective improvement and constraint
satisfaction during the updating of policy and Lagrange multipliers. Finally,
we conduct extensive experiments and an ablation study using the OneWeb and
Telesat mega-constellations. Results demonstrate that CMADR reduces the packet
delay by a minimum of 21% and 15%, while meeting stringent energy consumption
and packet loss rate constraints, outperforming several baseline algorithms.
- Abstract(参考訳): istn(integrated satellite-terrestrial network)システムは、地上インフラが限られた遠隔地におけるシームレスな通信サービスを提供している。
しかし、ISTNのルーティング方式の設計は、主に地上局の追加による複雑さの増大と、衛星サービス品質に関する様々な制約を満たすことによる、非常に困難である。
これらの課題に対処するため、高速通信を優先し、エネルギー効率とパケット損失要件を満たしながら、地上局や衛星とのパケットルーティングを共同で研究する。
具体的には,ラグランジュ法を用いて制約付きパケットルーティング問題を最大ミニ問題として定式化する。
CMADRと呼ばれる新しい制約付きマルチエージェント強化学習(MARL)動的ルーティングアルゴリズムを提案し、ポリシーとラグランジュ乗算器の更新時の客観的改善と制約満足度を効率的にバランスさせる。
最後に,onewebとtelesatを用いた広範囲な実験とアブレーション実験を行った。
その結果、CMADRはパケット遅延を最小21%と15%削減し、一方、厳しいエネルギー消費とパケット損失率の制約を満たし、いくつかのベースラインアルゴリズムより優れていた。
関連論文リスト
- Satellite Federated Edge Learning: Architecture Design and Convergence Analysis [47.057886812985984]
本稿では,FEDMEGAという新しいFEELアルゴリズムを提案する。
軌道内モデルアグリゲーションのための衛星間リンク(ISL)を統合することにより、提案アルゴリズムは低データレートと断続的なGSLの使用を著しく削減する。
提案手法は,環全リデューサに基づく軌道内アグリゲーション機構と,グローバルモデルアグリゲーションのためのネットワークフローベースのトランスミッションスキームを組み合わせたものである。
論文 参考訳(メタデータ) (2024-04-02T11:59:58Z) - Multi-Agent Reinforcement Learning for Network Routing in Integrated
Access Backhaul Networks [0.0]
IABネットワークの遅延を最小化しながらパケット到着率を最大化することを目的としている。
この問題を解決するため、我々はマルチエージェントで部分的に観察されたマルコフ決定プロセス(POMD)を開発した。
A2Cは他の強化学習アルゴリズムよりも優れており、ネットワーク効率が向上し、利己的エージェントの挙動が低下することを示した。
論文 参考訳(メタデータ) (2023-05-12T13:03:26Z) - Federated learning for LEO constellations via inter-HAP links [0.0]
ローアース・オービット(LEO)衛星星座は近年、急速に展開している。
このような応用に機械学習(ML)を適用するには、画像などの衛星データを地上局(GS)にダウンロードする従来の方法は望ましいものではない。
既存のFLソリューションは、過剰収束遅延や信頼できない無線チャネルといった大きな課題のために、そのようなLEOコンステレーションのシナリオには適さないことを示す。
論文 参考訳(メタデータ) (2022-05-15T08:22:52Z) - Learning Emergent Random Access Protocol for LEO Satellite Networks [51.575090080749554]
創発的ランダムアクセスチャネルプロトコル(eRACH)と呼ばれるLEO SATネットワークのための新しい許可なしランダムアクセスソリューションを提案する。
eRACHは、非定常ネットワーク環境との相互作用によって生じるモデルフリーなアプローチである。
RACHと比較して,提案するeRACHは平均ネットワークスループットが54.6%向上することを示す。
論文 参考訳(メタデータ) (2021-12-03T07:44:45Z) - Deep Learning Aided Routing for Space-Air-Ground Integrated Networks
Relying on Real Satellite, Flight, and Shipping Data [79.96177511319713]
現在の海上通信は主に単なる送信資源を持つ衛星に依存しており、現代の地上無線ネットワークよりも性能が劣っている。
大陸横断航空輸送の増加に伴い、商業旅客機に依存した航空アドホックネットワークという有望な概念は、空対地およびマルチホップ空対空リンクを介して衛星ベースの海上通信を強化する可能性がある。
低軌道衛星コンステレーション、旅客機、地上基地局、船舶がそれぞれ宇宙、航空、船舶として機能する、ユビキタスな海上通信を支援するための宇宙地上統合ネットワーク(SAGIN)を提案する。
論文 参考訳(メタデータ) (2021-10-28T14:12:10Z) - Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。
ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
論文 参考訳(メタデータ) (2021-07-28T06:20:34Z) - Integrating LEO Satellites and Multi-UAV Reinforcement Learning for
Hybrid FSO/RF Non-Terrestrial Networks [55.776497048509185]
低高度地球軌道衛星(SAT)と無人航空機(UAV)のメガコンステレーションは、第5世代(5G)を超える高速・長距離通信の実現を約束している。
我々は、ミリ波(mmWave)無線周波数(RF)または自由空間光(FSO)リンクを用いて、SATとUAVリレーを介して2つの長距離地上端末間のパケット転送の問題を検討する。
論文 参考訳(メタデータ) (2020-10-20T09:07:10Z) - Integrating LEO Satellite and UAV Relaying via Reinforcement Learning
for Non-Terrestrial Networks [51.05735925326235]
低軌道軌道(LEO)衛星のメガコンステレーションは、低レイテンシで長距離通信を可能にする可能性がある。
軌道上の星座から選択されたLEO衛星を用いて、2つの遠距離地上端末間でパケットを転送する問題について検討する。
エンドツーエンドのデータレートを最大化するためには、衛星アソシエーションとHAPロケーションを最適化する必要がある。
本稿では, 深部強化学習(DRL)と新しい動作次元低減技術を用いてこの問題に対処する。
論文 参考訳(メタデータ) (2020-05-26T05:39:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。