論文の概要: Transmit Power Control for Indoor Small Cells: A Method Based on Federated Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2209.13536v1
• Date: Wed, 31 Aug 2022 14:46:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 23:57:48.628976
• Title: Transmit Power Control for Indoor Small Cells: A Method Based on Federated Reinforcement Learning
• Title（参考訳）: 屋内小型セルの伝送電力制御:フェデレーション強化学習に基づく手法
• Authors: Peizheng Li, Hakan Erdol, Keith Briggs, Xiaoyang Wang, Robert Piechocki, Abdelrahim Ahmad, Rui Inacio, Shipra Kapoor, Angela Doufexi, Arjun Parekh
• Abstract要約: 本稿では,フェデレート強化学習(FRL)に基づく分散セル電力制御方式を提案する。 異なる屋内環境のモデルはトレーニングプロセス中にグローバルモデルに集約され、中央サーバは更新されたモデルを各クライアントにブロードキャストする。 一般化実験の結果, FRLモデルをベースモデルとして用いることにより, 新しい環境下でのモデルの収束速度が向上することが示された。
• 参考スコア（独自算出の注目度）: 2.392377380146
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Setting the transmit power setting of 5G cells has been a long-term topic of discussion, as optimized power settings can help reduce interference and improve the quality of service to users. Recently, machine learning (ML)-based, especially reinforcement learning (RL)-based control methods have received much attention. However, there is little discussion about the generalisation ability of the trained RL models. This paper points out that an RL agent trained in a specific indoor environment is room-dependent, and cannot directly serve new heterogeneous environments. Therefore, in the context of Open Radio Access Network (O-RAN), this paper proposes a distributed cell power-control scheme based on Federated Reinforcement Learning (FRL). Models in different indoor environments are aggregated to the global model during the training process, and then the central server broadcasts the updated model back to each client. The model will also be used as the base model for adaptive training in the new environment. The simulation results show that the FRL model has similar performance to a single RL agent, and both are better than the random power allocation method and exhaustive search method. The results of the generalisation test show that using the FRL model as the base model improves the convergence speed of the model in the new environment.
• Abstract（参考訳）: 5Gセルの送信電力設定は長期にわたる議論のトピックであり、最適化された電力設定は、ユーザの干渉を低減し、サービス品質を改善するのに役立つ。 近年,機械学習(ml)ベース,特に強化学習(rl)ベースの制御手法が注目されている。 しかし、訓練されたRLモデルの一般化能力についてはほとんど議論がない。 本稿では,室内環境下で訓練したRLエージェントが室内依存型であり,新しい異種環境を直接利用できないことを指摘する。 そこで本稿では,open radio access network (o-ran) の文脈において,federated reinforcement learning (frl) に基づく分散セル電力制御方式を提案する。 異なる屋内環境のモデルは、トレーニングプロセス中にグローバルモデルに集約され、中央サーバは更新されたモデルを各クライアントにブロードキャストする。 このモデルは、新しい環境での適応トレーニングのベースモデルとしても使用される。 シミュレーションの結果,FRLモデルは1つのRLエージェントと同等の性能を示し,どちらもランダムなパワー割り当て法や全探索法よりも優れていることがわかった。 一般化実験の結果, FRLモデルをベースモデルとして用いることにより, 新環境におけるモデルの収束速度が向上することが示された。

関連論文リスト

• Understanding Reinforcement Learning-Based Fine-Tuning of Diffusion Models: A Tutorial and Review [63.31328039424469]
  このチュートリアルは、下流の報酬関数を最適化するための微調整拡散モデルのための方法を網羅的に調査する。 PPO,微分可能最適化,報酬重み付きMLE,値重み付きサンプリング,経路整合性学習など,様々なRLアルゴリズムの適用について説明する。
  論文  参考訳（メタデータ） (2024-07-18T17:35:32Z)
• Adding Conditional Control to Diffusion Models with Reinforcement Learning [59.295203871547336]
  拡散モデルは、生成されたサンプルの特性を正確に制御できる強力な生成モデルである。 本研究では、オフラインデータセットを活用した強化学習(RL)に基づく新しい制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:00:26Z)
• A Unified Framework for Alternating Offline Model Training and Policy Learning [62.19209005400561]
  オフラインモデルに基づく強化学習では、歴史的収集データから動的モデルを学び、学習モデルと固定データセットを用いてポリシー学習を行う。 提案手法は,本手法が期待するリターンを最小限に抑えるための,反復的なオフラインMBRLフレームワークを開発する。 提案する統一型モデル政治学習フレームワークにより、我々は、広範囲の連続制御オフライン強化学習データセット上での競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-12T04:58:51Z)
• Mastering the Unsupervised Reinforcement Learning Benchmark from Pixels [112.63440666617494]
  強化学習アルゴリズムは成功するが、エージェントと環境の間の大量の相互作用を必要とする。 本稿では,教師なしモデルベースRLを用いてエージェントを事前学習する手法を提案する。 我々はReal-Word RLベンチマークにおいて、適応中の環境摂動に対する抵抗性を示唆し、堅牢な性能を示す。
  論文  参考訳（メタデータ） (2022-09-24T14:22:29Z)
• Simplifying Model-based RL: Learning Representations, Latent-space Models, and Policies with One Objective [142.36200080384145]
  自己整合性を維持しつつ高いリターンを達成するために,潜在空間モデルとポリシーを協調的に最適化する単一目的を提案する。 得られたアルゴリズムは, モデルベースおよびモデルフリーRL手法のサンプル効率に適合するか, 改善することを示した。
  論文  参考訳（メタデータ） (2022-09-18T03:51:58Z)
• Out-of-distribution Detection via Frequency-regularized Generative Models [23.300763504208593]
  深層生成モデルは、トレーニング分布の外から引き出された入力に高い確率を割り当てることができる。 特に、生成モデルは、確率を推定するために背景情報に過度に依存していることが示される。 OOD検出のための新しい周波数規則型学習FRLフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-18T22:34:08Z)
• RLFlow: Optimising Neural Network Subgraph Transformation with World Models [0.0]
  本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。 提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-03T11:52:54Z)
• Federated Deep Reinforcement Learning for the Distributed Control of NextG Wireless Networks [16.12495409295754]
  次世代(NextG)ネットワークは、拡張現実(AR)やコネクテッド・自律走行車といった、インターネットの触覚を必要とするアプリケーションをサポートすることが期待されている。 データ駆動アプローチは、現在の運用条件に適応するネットワークの能力を改善することができる。 深部RL(DRL)は複雑な環境においても良好な性能を発揮することが示されている。
  論文  参考訳（メタデータ） (2021-12-07T03:13:20Z)
• Federated Ensemble Model-based Reinforcement Learning in Edge Computing [21.840086997141498]
  フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための分散機械学習パラダイムである。 モデルベースRLとアンサンブル知識蒸留をFLに効果的に組み込む新しいFRLアルゴリズムを提案する。 具体的には、FLと知識蒸留を利用して、クライアント向けの動的モデルのアンサンブルを作成し、環境と相互作用することなく、単にアンサンブルモデルを使用することでポリシーを訓練する。
  論文  参考訳（メタデータ） (2021-09-12T16:19:10Z)
• Learning Discrete Energy-based Models via Auxiliary-variable Local Exploration [130.89746032163106]
  離散構造データに対する条件付きおよび非条件付きEMMを学習するための新しいアルゴリズムであるALOEを提案する。 エネルギー関数とサンプリング器は、新しい変分型電力繰り返しにより効率よく訓練できることを示す。 本稿では、ソフトウェアテストのためのエネルギーモデルガイド付ファジィザについて、libfuzzerのようなよく設計されたファジィエンジンに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2020-11-10T19:31:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。