論文の概要: Differentiated Federated Reinforcement Learning Based Traffic Offloading on Space-Air-Ground Integrated Networks

• arxiv url: http://arxiv.org/abs/2212.02075v3
• Date: Thu, 11 Jul 2024 14:11:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-13 00:16:54.371563
• Title: Differentiated Federated Reinforcement Learning Based Traffic Offloading on Space-Air-Ground Integrated Networks
• Title（参考訳）: 空間空域統合ネットワーク上でのフェデレーション強化学習に基づく交通負荷の微分化
• Authors: Yeguang Qin, Yilin Yang, Fengxiao Tang, Xin Yao, Ming Zhao, Nei Kato,
• Abstract要約: 本稿では,SAGINにおけるトラヒックオフロード問題を解決するために,DFRL(differated federated reinforcement learning)を用いることを提案する。 SAGINの各領域の異なる特性を考慮すると、DFRLはトラフィックオフロードポリシー最適化プロセスをモデル化する。 本稿では,この問題を解決するために,新たな微分型フェデレート・ソフト・アクター・クリティカル (DFSAC) アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 12.080548048901374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Space-Air-Ground Integrated Network (SAGIN) plays a pivotal role as a comprehensive foundational network communication infrastructure, presenting opportunities for highly efficient global data transmission. Nonetheless, given SAGIN's unique characteristics as a dynamically heterogeneous network, conventional network optimization methodologies encounter challenges in satisfying the stringent requirements for network latency and stability inherent to data transmission within this network environment. Therefore, this paper proposes the use of differentiated federated reinforcement learning (DFRL) to solve the traffic offloading problem in SAGIN, i.e., using multiple agents to generate differentiated traffic offloading policies. Considering the differentiated characteristics of each region of SAGIN, DFRL models the traffic offloading policy optimization process as the process of solving the Decentralized Partially Observable Markov Decision Process (DEC-POMDP) problem. The paper proposes a novel Differentiated Federated Soft Actor-Critic (DFSAC) algorithm to solve the problem. The DFSAC algorithm takes the network packet delay as the joint reward value and introduces the global trend model as the joint target action-value function of each agent to guide the update of each agent's policy. The simulation results demonstrate that the traffic offloading policy based on the DFSAC algorithm achieves better performance in terms of network throughput, packet loss rate, and packet delay compared to the traditional federated reinforcement learning approach and other baseline approaches.
• Abstract（参考訳）: Space-Air-Ground Integrated Network (SAGIN) は、高度に効率的なグローバルデータ伝送の機会を提供する包括的基盤となるネットワーク通信基盤として重要な役割を担っている。 しかしながら、SAGINの動的異種ネットワークとしてのユニークな特徴を考えると、従来のネットワーク最適化手法は、このネットワーク環境におけるデータ伝送に固有のネットワーク遅延と安定性の厳密な要件を満たすことの難しさに直面する。 そこで本論文では,SAGINにおけるトラヒックオフローディング問題,すなわち,複数のエージェントを用いてトラヒックオフローディングポリシーを生成するために,差分型フェデレーション強化学習(DFRL)を用いることを提案する。 DFRLは、SAGINの各領域の異なる特性を考慮して、分散化された部分観測可能マルコフ決定プロセス(DEC-POMDP)問題を解決するプロセスとして、トラフィックオフロードポリシー最適化プロセスをモデル化する。 本稿では,この問題を解決するために,新たな微分型フェデレート・ソフト・アクター・クリティカル (DFSAC) アルゴリズムを提案する。 DFSACアルゴリズムは、ネットワークパケット遅延を共同報酬値とし、各エージェントの目標アクション値関数としてグローバルトレンドモデルを導入し、各エージェントのポリシーの更新をガイドする。 シミュレーションの結果,DFSACアルゴリズムに基づくトラヒックオフロードポリシは,従来のフェデレーション強化学習手法やベースラインアプローチと比較して,ネットワークスループット,パケット損失率,パケット遅延の面で優れた性能を実現することが示された。

関連論文リスト

• Intelligent Hybrid Resource Allocation in MEC-assisted RAN Slicing Network [72.2456220035229]
  我々は,協調型MEC支援RANスライシングシステムにおける異種サービス要求に対するSSRの最大化を目指す。 最適ハイブリッドRAポリシーをインテリジェントに学習するためのRGRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-02T01:36:13Z)
• Closed-form congestion control via deep symbolic regression [1.5961908901525192]
  強化学習(RL)アルゴリズムは、超低レイテンシおよび高スループットシナリオにおける課題を処理することができる。 実際のデプロイメントにおけるニューラルネットワークモデルの採用は、リアルタイムの推論と解釈可能性に関して、依然としていくつかの課題を提起している。 本稿では,性能と一般化能力を維持しつつ,このような課題に対処する方法論を提案する。
  論文  参考訳（メタデータ） (2024-03-28T14:31:37Z)
• Inter-Cell Network Slicing With Transfer Learning Empowered Multi-Agent Deep Reinforcement Learning [6.523367518762879]
  ネットワークスライシングにより、オペレータは共通の物理インフラ上で多様なアプリケーションを効率的にサポートできる。 ネットワーク展開の恒常的に増大する密度化は、複雑で非自明な細胞間干渉を引き起こす。 複数の深層強化学習(DRL)エージェントを用いたDIRPアルゴリズムを開発し,各セルの資源分配を協調的に最適化する。
  論文  参考訳（メタデータ） (2023-06-20T14:14:59Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Optimization of Image Transmission in a Cooperative Semantic Communication Networks [68.2233384648671]
  画像伝送のためのセマンティック通信フレームワークを開発した。 サーバは、セマンティックコミュニケーション技術を用いて、画像の集合を協調的にユーザへ送信する。 抽出した意味情報と原画像との相関関係を測定するために,マルチモーダル・メトリックを提案する。
  論文  参考訳（メタデータ） (2023-01-01T15:59:13Z)
• Proactive Resilient Transmission and Scheduling Mechanisms for mmWave Networks [29.17280879786624]
  本稿では、任意のミリ波(mmWave)ネットワークにおいて、複数の経路にまたがるトラフィックを適切に分散するレジリエント伝送機構を開発することを目的とする。 リンク障害に対するレジリエンスを実現するため,ネットワークを介した情報の流れに適応する最先端のソフトアクタ・クリティカルDRLについて検討した。
  論文  参考訳（メタデータ） (2022-11-17T02:52:27Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless Cellular Networks [82.02891936174221]
  複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。 本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:24:47Z)
• Offline Contextual Bandits for Wireless Network Optimization [107.24086150482843]
  本稿では,ユーザ要求の変化に応じて,ネットワーク内の各セルの構成パラメータを自動的に調整するポリシの学習方法について検討する。 私たちのソリューションは、オフライン学習のための既存の方法を組み合わせて、この文脈で生じる重要な課題を克服する原則的な方法でそれらを適応します。
  論文  参考訳（メタデータ） (2021-11-11T11:31:20Z)
• Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
  我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。 ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-28T06:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。