論文の概要: Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks

• arxiv url: http://arxiv.org/abs/2112.03465v1
• Date: Tue, 7 Dec 2021 03:13:20 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 15:00:45.896039
• Title: Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks
• Title（参考訳）: nextg無線ネットワークの分散制御のための連合型深層強化学習
• Authors: Peyman Tehrani, Francesco Restuccia and Marco Levorato
• Abstract要約: 次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。 データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。 深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
• 参考スコア（独自算出の注目度）: 16.12495409295754
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next Generation (NextG) networks are expected to support demanding tactile internet applications such as augmented reality and connected autonomous vehicles. Whereas recent innovations bring the promise of larger link capacity, their sensitivity to the environment and erratic performance defy traditional model-based control rationales. Zero-touch data-driven approaches can improve the ability of the network to adapt to the current operating conditions. Tools such as reinforcement learning (RL) algorithms can build optimal control policy solely based on a history of observations. Specifically, deep RL (DRL), which uses a deep neural network (DNN) as a predictor, has been shown to achieve good performance even in complex environments and with high dimensional inputs. However, the training of DRL models require a large amount of data, which may limit its adaptability to ever-evolving statistics of the underlying environment. Moreover, wireless networks are inherently distributed systems, where centralized DRL approaches would require excessive data exchange, while fully distributed approaches may result in slower convergence rates and performance degradation. In this paper, to address these challenges, we propose a federated learning (FL) approach to DRL, which we refer to federated DRL (F-DRL), where base stations (BS) collaboratively train the embedded DNN by only sharing models' weights rather than training data. We evaluate two distinct versions of F-DRL, value and policy based, and show the superior performance they achieve compared to distributed and centralized DRL.
• Abstract（参考訳）: 次世代(nextg)ネットワークは、拡張現実やコネクテッド自動運転車のような触覚インターネットアプリケーションをサポートすることが期待されている。 近年のイノベーションはリンク容量の増大を約束する一方で、その環境への敏感さと不規則なパフォーマンスは従来のモデルベースの制御の根拠を損なう。 ゼロタッチデータ駆動アプローチは、現在の運用条件に適応するネットワークの能力を向上させることができる。 強化学習(RL)アルゴリズムのようなツールは、観測履歴のみに基づいて最適な制御ポリシーを構築することができる。 具体的には、ディープニューラルネットワーク(DNN)を予測器として使用するディープRL(DRL)は、複雑な環境や高次元入力においても優れた性能を発揮することが示されている。 しかし、DRLモデルのトレーニングには大量のデータが必要であるため、基礎となる環境の絶え間なく進化する統計に適応性が制限される可能性がある。 さらに、無線ネットワークは本質的に分散システムであり、中央集権DRLアプローチは過剰なデータ交換を必要とするが、完全な分散アプローチは収束率の低下と性能劣化をもたらす可能性がある。 本稿では,これらの課題に対処するために,ベースステーション(BS)が学習データよりもモデルの重みを共有することで,組込みDNNを協調的に訓練する,DRL(F-DRL)に対するフェデレーションラーニング(FL)アプローチを提案する。 我々は,F-DRLの2つの異なるバージョン,値とポリシーに基づく評価を行い,分散型と集中型DRLと比較して優れた性能を示す。

関連論文リスト

• DRL Optimization Trajectory Generation via Wireless Network Intent-Guided Diffusion Models for Optimizing Resource Allocation [58.62766376631344]
  本稿では、無線通信ネットワークの異なる状態変化に対応するために、カスタマイズされた無線ネットワークインテント(WNI-G)モデルを提案する。 大規模シミュレーションにより、動的通信システムにおけるスペクトル効率と従来のDRLモデルの変動の安定性が向上する。
  論文  参考訳（メタデータ） (2024-10-18T14:04:38Z)
• Parallel Digital Twin-driven Deep Reinforcement Learning for User Association and Load Balancing in Dynamic Wireless Networks [17.041443813376546]
  ネットワークにおけるユーザアソシエーションとロードバランシングのための並列ディジタルツイン(DT)駆動DRL法を提案する。 提案手法では,分散DRL戦略を用いて様々なユーザ数を処理するとともに,より高速な収束を実現するために改良されたニューラルネットワーク構造を利用する。 並列DT駆動DRL法は実環境訓練と同等の性能を示す。
  論文  参考訳（メタデータ） (2024-10-10T04:54:48Z)
• Enhancing Sample Efficiency and Exploration in Reinforcement Learning through the Integration of Diffusion Models and Proximal Policy Optimization [1.631115063641726]
  オフラインデータセットのための高品質な仮想トラジェクトリを生成するために拡散モデルを導入し,PPOアルゴリズムを強化するフレームワークを提案する。 RLにおける拡散モデルの可能性、特にオフラインデータセットについて検討し、オンラインRLをオフライン環境に拡張し、拡散モデルによるPPOの性能改善を実験的に検証する。
  論文  参考訳（メタデータ） (2024-09-02T19:10:32Z)
• D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
  ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。 提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
  論文  参考訳（メタデータ） (2024-08-15T22:27:00Z)
• RL-ADN: A High-Performance Deep Reinforcement Learning Environment for Optimal Energy Storage Systems Dispatch in Active Distribution Networks [0.0]
  Deep Reinforcement Learning (DRL) は、分散ネットワークにおけるエネルギー貯蔵システム(ESS)のディスパッチを最適化するための有望な道を示す。 本稿では,アクティブな分散ネットワークにおける最適なESSのディスパッチを解決するために設計された,革新的なオープンソースライブラリであるRL-ADNを紹介する。
  論文  参考訳（メタデータ） (2024-08-07T10:53:07Z)
• Hybrid Reinforcement Learning for Optimizing Pump Sustainability in Real-World Water Distribution Networks [55.591662978280894]
  本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。 我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。 進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
  論文  参考訳（メタデータ） (2023-10-13T21:26:16Z)
• How Does Forecasting Affect the Convergence of DRL Techniques in O-RAN Slicing? [20.344810727033327]
  本稿では,DRLの収束性を高めるため,新しい予測支援型DRL手法とそのO-RAN実運用ワークフローを提案する。 提案手法では, 平均初期報酬値, 収束率, 収束シナリオ数において最大22.8%, 86.3%, 300%の改善が見られた。
  論文  参考訳（メタデータ） (2023-09-01T14:30:04Z)
• On the Robustness of Controlled Deep Reinforcement Learning for Slice Placement [0.8459686722437155]
  我々は、純粋なDRLベースアルゴリズムとハイブリッドDRLヒューリスティックアルゴリズムである2つのDeep Reinforcement Learningアルゴリズムを比較した。 評価結果から,提案手法は純粋なDRLよりも予測不可能なネットワーク負荷変化の場合に,より堅牢で信頼性が高いことが示唆された。
  論文  参考訳（メタデータ） (2021-08-05T10:24:33Z)
• Behavioral Priors and Dynamics Models: Improving Performance and Domain Transfer in Offline RL [82.93243616342275]
  適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。 MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。 クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
  論文  参考訳（メタデータ） (2021-06-16T20:48:49Z)
• Instabilities of Offline RL with Pre-Trained Neural Representation [127.89397629569808]
  オフライン強化学習(RL)では、オフラインデータを利用して、評価対象のポリシーのそれとは大きく異なる分布からデータが収集されるシナリオでポリシーを評価する(または学習する)ことを目指しています。 最近の理論的進歩は、そのようなサンプル効率の良いオフラインRLが確かにある強い表現条件が保持されることを示した。 本研究は,オフラインrlメソッドの安定性を評価するために,経験的視点からこれらの問題を考察する。
  論文  参考訳（メタデータ） (2021-03-08T18:06:44Z)
• Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
  渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。 今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。 実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。 本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
  論文  参考訳（メタデータ） (2021-02-18T13:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。