Fugu-MT 論文翻訳(概要): Continual Deep Reinforcement Learning for Decentralized Satellite Routing

論文の概要: Continual Deep Reinforcement Learning for Decentralized Satellite Routing

arxiv url: http://arxiv.org/abs/2405.12308v1
Date: Mon, 20 May 2024 18:12:36 GMT
ステータス: 処理完了
システム内更新日: 2024-05-22 15:07:24.281912
Title: Continual Deep Reinforcement Learning for Decentralized Satellite Routing
Title（参考訳）: 分散型衛星ルーティングのための連続的深層強化学習
Authors: Federico Lozano-Cuadra, Beatriz Soret, Israel Leyva-Mayorga, Petar Popovski,
Abstract要約: 本稿では, 連続的深部強化学習(DRL)に基づく低地球軌道衛星コンステレーションにおける分散ルーティングの完全な解を提案する。我々は、各衛星が独立した意思決定エージェントとして機能するマルチエージェントアプローチに従う。我々のソリューションは混雑条件に順応し、ロードの少ない経路を利用する。
参考スコア（独自算出の注目度）: 34.67962234401005
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper introduces a full solution for decentralized routing in Low Earth Orbit satellite constellations based on continual Deep Reinforcement Learning (DRL). This requires addressing multiple challenges, including the partial knowledge at the satellites and their continuous movement, and the time-varying sources of uncertainty in the system, such as traffic, communication links, or communication buffers. We follow a multi-agent approach, where each satellite acts as an independent decision-making agent, while acquiring a limited knowledge of the environment based on the feedback received from the nearby agents. The solution is divided into two phases. First, an offline learning phase relies on decentralized decisions and a global Deep Neural Network (DNN) trained with global experiences. Then, the online phase with local, on-board, and pre-trained DNNs requires continual learning to evolve with the environment, which can be done in two different ways: (1) Model anticipation, where the predictable conditions of the constellation are exploited by each satellite sharing local model with the next satellite; and (2) Federated Learning (FL), where each agent's model is merged first at the cluster level and then aggregated in a global Parameter Server. The results show that, without high congestion, the proposed Multi-Agent DRL framework achieves the same E2E performance as a shortest-path solution, but the latter assumes intensive communication overhead for real-time network-wise knowledge of the system at a centralized node, whereas ours only requires limited feedback exchange among first neighbour satellites. Importantly, our solution adapts well to congestion conditions and exploits less loaded paths. Moreover, the divergence of models over time is easily tackled by the synergy between anticipation, applied in short-term alignment, and FL, utilized for long-term alignment.
Abstract（参考訳）: 本稿では,低地球軌道衛星コンステレーションにおける分散ルーティングを連続的深部強化学習(DRL)に基づいて完全な解法を提案する。これは、衛星における部分的な知識や連続的な動き、交通、通信リンク、通信バッファといったシステムの不確実性の時間的変化など、複数の課題に対処する必要がある。我々は,各衛星が独立した意思決定エージェントとして機能し,近隣のエージェントからのフィードバックに基づいて環境の知識を限定的に獲得するマルチエージェントアプローチに従う。解法は2つの段階に分けられる。まず、オフライン学習フェーズは、分散化された決定と、グローバルエクスペリエンスをトレーニングしたグローバルディープニューラルネットワーク(DNN)に依存します。次に、ローカル、オンボード、および事前訓練されたDNNによるオンラインフェーズでは、(1)星座の予測可能な条件を次の衛星と共有する各衛星が活用するモデル予測、(2)エージェントのモデルをまずクラスタレベルでマージし、次にグローバルパラメータサーバに集約するフェデレートラーニング(FL)という2つの方法で、環境とともに継続的な学習を行う必要がある。その結果,提案するマルチエージェントDRLフレームワークは,最短パス方式と同じE2E性能を実現するが,後者は集中ノードにおけるリアルタイムネットワーク知識の通信オーバーヘッドを前提としている。重要なことは、当社のソリューションは混雑条件に順応し、負荷の少ない経路を活用できるということです。さらに,長期的アライメントに応用された予測と,長期的アライメントに利用したFLの相乗効果により,時間とともにモデルのばらつきが容易に取り組まれる。

関連論文リスト

Collaborative Ground-Space Communications via Evolutionary Multi-objective Deep Reinforcement Learning [113.48727062141764]
地中直接通信を実現するために,分散コラボレーティブビームフォーミング(DCB)に基づくアップリンク通信パラダイムを提案する。 DCBは、低軌道(LEO)衛星と効率的な直接接続を確立することができない端末を分散アンテナとして扱う。本稿では,進化的多目的深層強化学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-04-11T03:13:02Z)
Satellite Federated Edge Learning: Architecture Design and Convergence Analysis [47.057886812985984]
本稿では,FEDMEGAという新しいFEELアルゴリズムを提案する。軌道内モデルアグリゲーションのための衛星間リンク(ISL)を統合することにより、提案アルゴリズムは低データレートと断続的なGSLの使用を著しく削減する。提案手法は,環全リデューサに基づく軌道内アグリゲーション機構と,グローバルモデルアグリゲーションのためのネットワークフローベースのトランスミッションスキームを組み合わせたものである。
論文参考訳（メタデータ） (2024-04-02T11:59:58Z)
Multi-Agent Deep Reinforcement Learning for Distributed Satellite Routing [7.793857269225969]
本稿では、低軌道衛星コンステレーション(LSatC)におけるルーティングのためのマルチエージェント深部強化学習(MA-DRL)手法を提案する。その結果,MA-DRLはオフラインで最適な経路を効率よく学習し,効率の良い分散ルーティングのためにロードすることがわかった。
論文参考訳（メタデータ） (2024-02-27T16:36:53Z)
Communication-Efficient Federated Learning for LEO Satellite Networks Integrated with HAPs Using Hybrid NOMA-OFDM [1.3121410433987561]
本稿では,LEO衛星に適した新しいFL-SatComアプローチであるNomaFedHAPを提案する。 NomaFedHAPは高高度プラットフォーム(HAP)を分散パラメータサーバ(PS)として利用し、衛星の可視性を高める。近距離シェルにおける衛星の停止確率とシステム全体の停止確率のクローズドな表現を導出する。
論文参考訳（メタデータ） (2024-01-01T07:07:27Z)
Adaptive Hierarchical SpatioTemporal Network for Traffic Forecasting [70.66710698485745]
本稿では,AHSTN(Adaptive Hierarchical SpatioTemporal Network)を提案する。 AHSTNは空間階層を利用し、マルチスケール空間相関をモデル化する。 2つの実世界のデータセットの実験により、AHSTNはいくつかの強いベースラインよりも優れたパフォーマンスを達成することが示された。
論文参考訳（メタデータ） (2023-06-15T14:50:27Z)
Federated learning for LEO constellations via inter-HAP links [0.0]
ローアース・オービット(LEO)衛星星座は近年、急速に展開している。このような応用に機械学習(ML)を適用するには、画像などの衛星データを地上局(GS)にダウンロードする従来の方法は望ましいものではない。既存のFLソリューションは、過剰収束遅延や信頼できない無線チャネルといった大きな課題のために、そのようなLEOコンステレーションのシナリオには適さないことを示す。
論文参考訳（メタデータ） (2022-05-15T08:22:52Z)
Learning Emergent Random Access Protocol for LEO Satellite Networks [51.575090080749554]
創発的ランダムアクセスチャネルプロトコル(eRACH)と呼ばれるLEO SATネットワークのための新しい許可なしランダムアクセスソリューションを提案する。 eRACHは、非定常ネットワーク環境との相互作用によって生じるモデルフリーなアプローチである。 RACHと比較して,提案するeRACHは平均ネットワークスループットが54.6%向上することを示す。
論文参考訳（メタデータ） (2021-12-03T07:44:45Z)
Integrating LEO Satellite and UAV Relaying via Reinforcement Learning for Non-Terrestrial Networks [51.05735925326235]
低軌道軌道(LEO)衛星のメガコンステレーションは、低レイテンシで長距離通信を可能にする可能性がある。軌道上の星座から選択されたLEO衛星を用いて、2つの遠距離地上端末間でパケットを転送する問題について検討する。エンドツーエンドのデータレートを最大化するためには、衛星アソシエーションとHAPロケーションを最適化する必要がある。本稿では, 深部強化学習(DRL)と新しい動作次元低減技術を用いてこの問題に対処する。
論文参考訳（メタデータ） (2020-05-26T05:39:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。