論文の概要: Learning Distributed and Fair Policies for Network Load Balancing as
Markov Potentia Game
- arxiv url: http://arxiv.org/abs/2206.01451v1
- Date: Fri, 3 Jun 2022 08:29:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-06 15:27:37.566751
- Title: Learning Distributed and Fair Policies for Network Load Balancing as
Markov Potentia Game
- Title（参考訳）: Markov Potentia Gameとしてのネットワークロードバランシングのための分散および公正なポリシの学習
- Authors: Zhiyuan Yao, Zihan Ding
- Abstract要約: 本稿では、複数のロードバランサ(LB)を配置するデータセンター(DC)におけるネットワーク負荷分散問題について検討する。
この問題の課題は、異種処理アーキテクチャと動的環境から成り立っている。
マルチエージェント負荷分散問題をマルコフポテンシャルゲームとして定式化し、そのポテンシャル関数としてのワークロード分布の公平さを慎重に適切に設計する。
ゲームのナッシュ平衡を近似するために,完全分散MARLアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 4.892398873024191
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper investigates the network load balancing problem in data centers
(DCs) where multiple load balancers (LBs) are deployed, using the multi-agent
reinforcement learning (MARL) framework. The challenges of this problem consist
of the heterogeneous processing architecture and dynamic environments, as well
as limited and partial observability of each LB agent in distributed networking
systems, which can largely degrade the performance of in-production load
balancing algorithms in real-world setups.
Centralised-training-decentralised-execution (CTDE) RL scheme has been proposed
to improve MARL performance, yet it incurs -- especially in distributed
networking systems, which prefer distributed and plug-and-play design scheme --
additional communication and management overhead among agents. We formulate the
multi-agent load balancing problem as a Markov potential game, with a carefully
and properly designed workload distribution fairness as the potential function.
A fully distributed MARL algorithm is proposed to approximate the Nash
equilibrium of the game. Experimental evaluations involve both an event-driven
simulator and real-world system, where the proposed MARL load balancing
algorithm shows close-to-optimal performance in simulations, and superior
results over in-production LBs in the real-world system.
- Abstract（参考訳）: 本稿では,マルチエージェント強化学習(marl)フレームワークを用いて,複数のロードバランサ(lbs)をデプロイするデータセンタ(dcs)におけるネットワークロードバランシング問題を検討する。
この問題の課題は、異種処理アーキテクチャと動的環境、および分散ネットワークシステムにおける各LBエージェントの限定的かつ部分的な可観測性からなり、実環境における実運用負荷分散アルゴリズムの性能を大幅に低下させることができる。
集中学習-分散実行(CTDE) RL スキームは MARL の性能を改善するために提案されているが、特に分散ネットワークシステムでは、エージェント間の通信と管理のオーバーヘッドが増大する。
マルチエージェント負荷分散問題をマルコフポテンシャルゲームとして定式化し、そのポテンシャル関数としてのワークロード分布の公平さを慎重に適切に設計する。
ゲームのナッシュ平衡を近似するために,完全分散MARLアルゴリズムを提案する。
実験による評価には,実世界システムとイベント駆動シミュレータの両方があり,提案するmarl負荷分散アルゴリズムはシミュレーションにおいて最適に近い性能を示し,実世界システムにおける実運用lbsよりも優れた結果を示す。
関連論文リスト
- Load Balancing in Federated Learning [3.2999744336237384]
Federated Learning(FL)は、複数のリモートデバイスに分散したデータからの学習を可能にする、分散機械学習フレームワークである。
本稿では,情報時代に基づくスケジューリングポリシーの負荷指標を提案する。
マルコフ連鎖モデルの最適パラメータを確立し、シミュレーションによりアプローチを検証する。
論文 参考訳（メタデータ） (2024-08-01T00:56:36Z) - Multi-agent Attention Actor-Critic Algorithm for Load Balancing in
Cellular Networks [33.72503214603868]
セルラーネットワークでは、ユーザ機器(UE)が基地局から別の基地局へハンドオフし、BS間の負荷分散問題を引き起こした。
本稿では,負荷分散問題をマルコフゲームとして定式化し,ロバストマルチエージェント・アテンション・アクタ・クリティカル(Robust-MA3C)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-03-14T15:51:33Z) - Multi-Resource Allocation for On-Device Distributed Federated Learning
Systems [79.02994855744848]
本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。
システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
論文 参考訳（メタデータ） (2022-11-01T14:16:05Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳（メタデータ） (2022-03-26T20:37:14Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳（メタデータ） (2022-03-14T17:24:03Z) - Multi-Agent Reinforcement Learning for Network Load Balancing in Data
Center [4.141301293112916]
本稿では,強化学習における実世界の課題であるネットワーク負荷分散問題を提案する。
協調的ネットワーク負荷分散タスクはDec-POMDP問題として定式化され、MARL法を自然に誘導する。
学習に基づく手法を適用するための現実的ギャップを埋めるために、エミュレーションシステム上で、すべての手法を直接訓練し評価する。
論文 参考訳（メタデータ） (2022-01-27T18:47:59Z) - Reinforced Workload Distribution Fairness [3.7384509727711923]
本稿では,アクティブロードバランサ状態監視とネットワーク観測の制限を伴わない分散強化学習機構を提案し,負荷バランサが達成したワークロード分布の公平性を向上する。
予備的な結果は、RLベースのロードバランシングアルゴリズムの有望性を示し、さらなる課題と今後の研究方向性を特定する。
論文 参考訳（メタデータ） (2021-10-29T07:51:26Z) - Towards Intelligent Load Balancing in Data Centers [0.5505634045241288]
本稿では,機械学習とネットワークシステムのギャップを埋めるため,Aquariusを提案する。
オフラインデータ分析とオンラインモデル展開の両方を現実的なシステムで実行する能力を示している。
論文 参考訳（メタデータ） (2021-10-27T12:47:30Z) - Multi-Agent MDP Homomorphic Networks [100.74260120972863]
協調型マルチエージェントシステムでは、エージェントの異なる構成とそれらの局所的な観察の間に複雑な対称性が生じる。
単エージェント強化学習における既存の対称性の研究は、完全に集中した環境にのみ一般化できる。
本稿では,ローカル情報のみを用いた分散実行が可能なネットワークのクラスであるマルチエージェントMDPホモモルフィックネットワークを提案する。
論文 参考訳（メタデータ） (2021-10-09T07:46:25Z) - Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in
Edge Industrial IoT [106.83952081124195]
強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。
本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。
実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
論文 参考訳（メタデータ） (2021-06-30T16:49:07Z) - Information Freshness-Aware Task Offloading in Air-Ground Integrated
Edge Computing Systems [49.80033982995667]
本稿では,空域統合マルチアクセスエッジコンピューティングシステムにおける情報更新性を考慮したタスクオフロードの問題について検討する。
サードパーティのリアルタイムアプリケーションサービスプロバイダは、InPからの限られた通信と計算リソースで、加入したモバイルユーザ(MU)にコンピューティングサービスを提供する。
本稿では,各MUに2つの個別の深度Q-networksを適用し,Q-factorと後Q-factorを近似する新しい深度強化学習手法を提案する。
論文 参考訳（メタデータ） (2020-07-15T21:32:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。