論文の概要: Multi-Agent Reinforcement Learning with Common Policy for Antenna Tilt Optimization

• arxiv url: http://arxiv.org/abs/2302.12899v1
• Date: Fri, 24 Feb 2023 21:19:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-28 20:13:42.625501
• Title: Multi-Agent Reinforcement Learning with Common Policy for Antenna Tilt Optimization
• Title（参考訳）: アンテナ傾き最適化のための共通ポリシーを用いたマルチエージェント強化学習
• Authors: Adriano Mendo, Jose Outes-Carnero, Yak Ng-Molina and Juan Ramiro-Moreno
• Abstract要約: 本稿では,セルパラメータのチューニングに適用可能な無線ネットワーク最適化手法を提案する。 エージェントは共通の方針を共有し、近隣の細胞からの情報と報酬を含む。 提案手法は,すでに専門家のシステムベースの手法によって提供された性能向上を著しく改善することを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a method for wireless network optimization applicable to tuning cell parameters that impact the performance of the adjusted cell and the surrounding neighboring cells. The method relies on multiple reinforcement learning agents that share a common policy and include information from neighboring cells in the state and reward. In order not to impair network performance during the first steps of learning, agents are pre-trained during an earlier phase of offline learning, in which an initial policy is obtained using feedback from a static network simulator and considering a wide variety of scenarios. Finally, agents can wisely tune the cell parameters of a test network by suggesting small incremental changes to slowly steer the network toward an optimal configuration. Agents propose optimal changes using the experience gained with the simulator in the pre-training phase, but also continue to learn from current network readings after each change. The results show how the proposed approach significantly improves the performance gains already provided by expert system-based methods when applied to remote antenna tilt optimization. Additional gains are also seen when comparing the proposed approach with a similar method in which the state and reward do not include information from neighboring cells.
• Abstract（参考訳）: 本稿では,調整セルとその周辺セルの性能に影響を与えるセルパラメータのチューニングに適用可能な無線ネットワーク最適化手法を提案する。 この方法は、共通の方針を共有し、近隣の細胞からの情報と報酬を含む複数の強化学習エージェントに依存する。 学習の第1段階のネットワーク性能を損なわないために、エージェントはオフライン学習の初期段階において、静的ネットワークシミュレータからのフィードバックと様々なシナリオを考慮した初期ポリシーを得るように事前訓練される。 最後に、エージェントは、小さなインクリメンタルな変更を提案することで、テストネットワークのセルパラメータを巧みに調整し、ネットワークを最適な構成へとゆっくりと制御することができる。 エージェントは、プレトレーニングフェーズでシミュレータで得られた経験を用いて最適な変更を提案するが、変更毎に現在のネットワーク読み取りから学び続ける。 提案手法は, 遠隔アンテナ傾斜最適化に適用した場合に, エキスパートシステムによる性能向上を著しく改善することを示す。 また、提案手法と、隣接する細胞からの情報を状態と報酬が含まない同様の手法を比較する際にも、さらなる利得が見られる。

関連論文リスト

• Continual Model-based Reinforcement Learning for Data Efficient Wireless Network Optimisation [73.04087903322237]
  制御ポリシの継続強化学習としてスループット最適化を定式化する。 シミュレーションの結果,提案システムでは,エンド・ツー・エンドのデプロイメントのリードタイムを2倍に短縮できることがわかった。
  論文  参考訳（メタデータ） (2024-04-30T11:23:31Z)
• Rapid Network Adaptation: Learning to Adapt Neural Networks Using Test-Time Feedback [12.946419909506883]
  テスト時間フィードバック信号を用いてネットワークをオンザフライで適応するクローズドループシステムを構築した。 本稿では,このループを学習型関数を用いて効果的に実装し,ネットワークに対する償却を実現する方法を提案する。 これにより、Rapid Network Adaptation (RNA) と呼ばれる適応手法が実現され、ベースラインよりも柔軟で桁違いに高速になる。
  論文  参考訳（メタデータ） (2023-09-27T16:20:39Z)
• Acceleration in Policy Optimization [50.323182853069184]
  我々は、楽観的かつ適応的な更新を通じて、政策改善のステップにフォレストを組み込むことにより、強化学習(RL)における政策最適化手法を加速するための統一パラダイムに向けて研究する。 我々は、楽観主義を、政策の将来行動の予測モデルとして定義し、適応性は、過度な予測や変化に対する遅延反応からエラーを軽減するために、即時かつ予測的な修正措置をとるものである。 我々は,メタグラディエント学習による適応型楽観的ポリシー勾配アルゴリズムを設計し,実証的なタスクにおいて,加速度に関連するいくつかの設計選択を実証的に強調する。
  論文  参考訳（メタデータ） (2023-06-18T15:50:57Z)
• Multi-agent Reinforcement Learning with Graph Q-Networks for Antenna Tuning [60.94661435297309]
  モバイルネットワークの規模は、手作業による介入や手作業による戦略を使ってアンテナパラメータの最適化を困難にしている。 本研究では,モバイルネットワーク構成をグローバルに最適化するマルチエージェント強化学習アルゴリズムを提案する。 シミュレーション環境におけるアンテナ傾き調整問題とジョイント傾き・電力制御問題に対するアルゴリズムの性能を実証的に示す。
  論文  参考訳（メタデータ） (2023-01-20T17:06:34Z)
• Rethinking Value Function Learning for Generalization in Reinforcement Learning [11.516147824168732]
  我々は、観測一般化性能を向上させるために、複数の訓練環境においてRLエージェントを訓練することの課題に焦点をあてる。 マルチ環境設定における価値ネットワークは、従来の単一環境設定よりもトレーニングデータの過度な適合を最適化し難い。 本稿では,政策ネットワークよりもトレーニングデータが多い値ネットワークを少ない頻度で最適化することにより,暗黙的に評価値のペナルティ化を行うDelayed-Critic Policy Gradient (DCPG)を提案する。
  論文  参考訳（メタデータ） (2022-10-18T16:17:47Z)
• Learning Optimal Antenna Tilt Control Policies: A Contextual Linear Bandit Approach [65.27783264330711]
  セルラーネットワークにおけるアンテナ傾きの制御は、ネットワークのカバレッジとキャパシティの間の効率的なトレードオフに到達するために不可欠である。 既存のデータから最適な傾き制御ポリシーを学習するアルゴリズムを考案する。 従来のルールベースの学習アルゴリズムよりもはるかに少ないデータサンプルを用いて最適な傾き更新ポリシーを作成できることを示す。
  論文  参考訳（メタデータ） (2022-01-06T18:24:30Z)
• Offline Contextual Bandits for Wireless Network Optimization [107.24086150482843]
  本稿では,ユーザ要求の変化に応じて,ネットワーク内の各セルの構成パラメータを自動的に調整するポリシの学習方法について検討する。 私たちのソリューションは、オフライン学習のための既存の方法を組み合わせて、この文脈で生じる重要な課題を克服する原則的な方法でそれらを適応します。
  論文  参考訳（メタデータ） (2021-11-11T11:31:20Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。