論文の概要: Federated Deep Reinforcement Learning for the Distributed Control of
NextG Wireless Networks
- arxiv url: http://arxiv.org/abs/2112.03465v1
- Date: Tue, 7 Dec 2021 03:13:20 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 15:00:45.896039
- Title: Federated Deep Reinforcement Learning for the Distributed Control of
NextG Wireless Networks
- Title(参考訳): nextg無線ネットワークの分散制御のための連合型深層強化学習
- Authors: Peyman Tehrani, Francesco Restuccia and Marco Levorato
- Abstract要約: 次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。
データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。
深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
- 参考スコア(独自算出の注目度): 16.12495409295754
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Next Generation (NextG) networks are expected to support demanding tactile
internet applications such as augmented reality and connected autonomous
vehicles. Whereas recent innovations bring the promise of larger link capacity,
their sensitivity to the environment and erratic performance defy traditional
model-based control rationales. Zero-touch data-driven approaches can improve
the ability of the network to adapt to the current operating conditions. Tools
such as reinforcement learning (RL) algorithms can build optimal control policy
solely based on a history of observations. Specifically, deep RL (DRL), which
uses a deep neural network (DNN) as a predictor, has been shown to achieve good
performance even in complex environments and with high dimensional inputs.
However, the training of DRL models require a large amount of data, which may
limit its adaptability to ever-evolving statistics of the underlying
environment. Moreover, wireless networks are inherently distributed systems,
where centralized DRL approaches would require excessive data exchange, while
fully distributed approaches may result in slower convergence rates and
performance degradation. In this paper, to address these challenges, we propose
a federated learning (FL) approach to DRL, which we refer to federated DRL
(F-DRL), where base stations (BS) collaboratively train the embedded DNN by
only sharing models' weights rather than training data. We evaluate two
distinct versions of F-DRL, value and policy based, and show the superior
performance they achieve compared to distributed and centralized DRL.
- Abstract(参考訳): 次世代(nextg)ネットワークは、拡張現実やコネクテッド自動運転車のような触覚インターネットアプリケーションをサポートすることが期待されている。
近年のイノベーションはリンク容量の増大を約束する一方で、その環境への敏感さと不規則なパフォーマンスは従来のモデルベースの制御の根拠を損なう。
ゼロタッチデータ駆動アプローチは、現在の運用条件に適応するネットワークの能力を向上させることができる。
強化学習(RL)アルゴリズムのようなツールは、観測履歴のみに基づいて最適な制御ポリシーを構築することができる。
具体的には、ディープニューラルネットワーク(DNN)を予測器として使用するディープRL(DRL)は、複雑な環境や高次元入力においても優れた性能を発揮することが示されている。
しかし、DRLモデルのトレーニングには大量のデータが必要であるため、基礎となる環境の絶え間なく進化する統計に適応性が制限される可能性がある。
さらに、無線ネットワークは本質的に分散システムであり、中央集権DRLアプローチは過剰なデータ交換を必要とするが、完全な分散アプローチは収束率の低下と性能劣化をもたらす可能性がある。
本稿では,これらの課題に対処するために,ベースステーション(BS)が学習データよりもモデルの重みを共有することで,組込みDNNを協調的に訓練する,DRL(F-DRL)に対するフェデレーションラーニング(FL)アプローチを提案する。
我々は,F-DRLの2つの異なるバージョン,値とポリシーに基づく評価を行い,分散型と集中型DRLと比較して優れた性能を示す。
関連論文リスト
- A Deep Q-Network Based on Radial Basis Functions for Multi-Echelon
Inventory Management [6.149034764951798]
本稿では,複雑なネットワークトポロジによる複数エケロン在庫管理問題に対処する。
Q-ネットワークが放射基底関数に基づくDRLモデルを開発する。
ベースストックポリシーが最適であるシリアルシステムにおいて、マルチエケロンシステムにおけるより良いポリシーと競争性能を生成する。
論文 参考訳(メタデータ) (2024-01-29T04:11:56Z) - Hybrid Reinforcement Learning for Optimizing Pump Sustainability in
Real-World Water Distribution Networks [55.591662978280894]
本稿では,実世界の配水ネットワーク(WDN)のリアルタイム制御を強化するために,ポンプスケジューリング最適化問題に対処する。
我々の主な目的は、エネルギー消費と運用コストを削減しつつ、物理的な運用上の制約を遵守することである。
進化に基づくアルゴリズムや遺伝的アルゴリズムのような伝統的な最適化手法は、収束保証の欠如によってしばしば不足する。
論文 参考訳(メタデータ) (2023-10-13T21:26:16Z) - Digital Twin Assisted Deep Reinforcement Learning for Online Admission
Control in Sliced Network [19.152875040151976]
この問題に対処するために、ディジタルツイン(DT)高速化DRLソリューションを提案する。
ニューラルネットワークベースのDTは、システムをキューイングするためのカスタマイズされた出力層を備え、教師付き学習を通じてトレーニングされ、DRLモデルのトレーニングフェーズを支援するために使用される。
DT加速DRLは、直接訓練された最先端Q-ラーニングモデルと比較して、リソース利用率を40%以上向上させる。
論文 参考訳(メタデータ) (2023-10-07T09:09:19Z) - How Does Forecasting Affect the Convergence of DRL Techniques in O-RAN
Slicing? [20.344810727033327]
本稿では,DRLの収束性を高めるため,新しい予測支援型DRL手法とそのO-RAN実運用ワークフローを提案する。
提案手法では, 平均初期報酬値, 収束率, 収束シナリオ数において最大22.8%, 86.3%, 300%の改善が見られた。
論文 参考訳(メタデータ) (2023-09-01T14:30:04Z) - DRL-GAN: A Hybrid Approach for Binary and Multiclass Network Intrusion
Detection [2.7122540465034106]
侵入検知システム(IDS)は、これらの攻撃を検出するための重要なセキュリティ技術である。
本稿では,GAN(Generative Adversarial Network)が生成した合成データを用いて,深層強化学習(DRL)モデルの入力として用いる新しいハイブリッド手法を提案する。
その結果,DRLを特定の合成データセット上でトレーニングすると,真の不均衡データセット上でのトレーニングよりも,マイノリティクラスを正しく分類する方が優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2023-01-05T19:51:24Z) - On the Robustness of Controlled Deep Reinforcement Learning for Slice
Placement [0.8459686722437155]
我々は、純粋なDRLベースアルゴリズムとハイブリッドDRLヒューリスティックアルゴリズムである2つのDeep Reinforcement Learningアルゴリズムを比較した。
評価結果から,提案手法は純粋なDRLよりも予測不可能なネットワーク負荷変化の場合に,より堅牢で信頼性が高いことが示唆された。
論文 参考訳(メタデータ) (2021-08-05T10:24:33Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳(メタデータ) (2021-06-30T16:49:07Z) - Behavioral Priors and Dynamics Models: Improving Performance and Domain
Transfer in Offline RL [82.93243616342275]
適応行動優先型オフラインモデルに基づくRL(Adaptive Behavioral Priors:MABE)を導入する。
MABEは、ドメイン内の一般化をサポートする動的モデルと、ドメイン間の一般化をサポートする振る舞いの事前が相補的であることの発見に基づいている。
クロスドメインの一般化を必要とする実験では、MABEが先行手法より優れていることが判明した。
論文 参考訳(メタデータ) (2021-06-16T20:48:49Z) - Instabilities of Offline RL with Pre-Trained Neural Representation [127.89397629569808]
オフライン強化学習(RL)では、オフラインデータを利用して、評価対象のポリシーのそれとは大きく異なる分布からデータが収集されるシナリオでポリシーを評価する(または学習する)ことを目指しています。
最近の理論的進歩は、そのようなサンプル効率の良いオフラインRLが確かにある強い表現条件が保持されることを示した。
本研究は,オフラインrlメソッドの安定性を評価するために,経験的視点からこれらの問題を考察する。
論文 参考訳(メタデータ) (2021-03-08T18:06:44Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳(メタデータ) (2021-02-18T13:49:28Z) - Deep Learning for Ultra-Reliable and Low-Latency Communications in 6G
Networks [84.2155885234293]
まず,データ駆動型教師付き深層学習と深部強化学習をURLLCに適用する方法を概説する。
このようなオープンな問題に対処するために、デバイスインテリジェンス、エッジインテリジェンス、およびURLLCのためのクラウドインテリジェンスを可能にするマルチレベルアーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-02-22T14:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。