論文の概要: Multi-Agent Reinforcement Learning for Network Load Balancing in Data Center

• arxiv url: http://arxiv.org/abs/2201.11727v2
• Date: Fri, 28 Jan 2022 19:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-01 13:35:55.739503
• Title: Multi-Agent Reinforcement Learning for Network Load Balancing in Data Center
• Title（参考訳）: データセンターにおけるネットワーク負荷分散のためのマルチエージェント強化学習
• Authors: Zhiyuan Yao, Zihan Ding, Thomas Clausen
• Abstract要約: 本稿では,強化学習における実世界の課題であるネットワーク負荷分散問題を提案する。 協調的ネットワーク負荷分散タスクはDec-POMDP問題として定式化され、MARL法を自然に誘導する。 学習に基づく手法を適用するための現実的ギャップを埋めるために、エミュレーションシステム上で、すべての手法を直接訓練し評価する。
• 参考スコア（独自算出の注目度）: 4.141301293112916
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper presents the network load balancing problem, a challenging real-world task for multi-agent reinforcement learning (MARL) methods. Traditional heuristic solutions like Weighted-Cost Multi-Path (WCMP) and Local Shortest Queue (LSQ) are less flexible to the changing workload distributions and arrival rates, with a poor balance among multiple load balancers. The cooperative network load balancing task is formulated as a Dec-POMDP problem, which naturally induces the MARL methods. To bridge the reality gap for applying learning-based methods, all methods are directly trained and evaluated on an emulation system from moderate-to large-scale. Experiments on realistic testbeds show that the independent and "selfish" load balancing strategies are not necessarily the globally optimal ones, while the proposed MARL solution has a superior performance over different realistic settings. Additionally, the potential difficulties of MARL methods for network load balancing are analysed, which helps to draw the attention of the learning and network communities to such challenges.
• Abstract（参考訳）: 本稿では,マルチエージェント強化学習(marl)手法のための実世界課題であるネットワーク負荷分散問題を提案する。 Weighted-Cost Multi-Path (WCMP)やLocal Shortest Queue (LSQ)のような従来のヒューリスティックなソリューションは、ワークロードの分散や到着率の変化に対して柔軟性が低く、複数のロードバランサ間のバランスが低い。 協調的ネットワーク負荷分散タスクはDec-POMDP問題として定式化され、MARL法を自然に誘導する。 学習に基づく手法を適用するための現実のギャップを埋めるため、すべての手法は中程度から大規模までのエミュレーションシステム上で直接訓練され、評価される。 現実的なテストベッドの実験では、独立的で"利己的"なロードバランシング戦略が必ずしもグローバルな最適戦略ではないことが示され、提案されたMARLソリューションは、異なる現実的な設定よりも優れたパフォーマンスを示している。 さらに,ネットワークロードバランシングにおけるmarl手法の潜在的な難しさを解析し,学習者やネットワークコミュニティの関心を引きつけている。

関連論文リスト

• Sparse Mean Field Load Balancing in Large Localized Queueing Systems [30.672653758080568]
  我々は、疎結合な待ち行列ネットワークにおいて、ほぼ最適負荷分散ポリシーを抽出可能な方法で学習する。 境界次数という文脈で新しい平均場制御問題を定式化することにより、そうでなければ難しいマルチエージェント問題を単一エージェント問題に還元する。 提案手法は,現実的かつスケーラブルな無線ネットワークトポロジでよく機能する。
  論文  参考訳（メタデータ） (2023-12-20T12:31:28Z)
• Decentralized Online Learning in Task Assignment Games for Mobile Crowdsensing [55.07662765269297]
  モバイルクラウドセンシングプラットフォーム(MCSP)は、センサオファーをMCSPに送り返してタスクに参加する意思を示すための、利用可能なモバイルユニット(MU)に順次、センシングタスクを発行する。 安定したタスク割り当ては、MCSPとMUの相反する目標、およびMUの要求する努力と嗜好の不確実性という2つの課題に対処する必要がある。 これらの課題を克服するために,衝突回避型マルチアームバンディットと戦略的自由センシング(CA-MAB-SFS)という,マッチング理論とオンライン学習を組み合わせた新たな分散アプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-19T13:07:15Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Multi-agent Attention Actor-Critic Algorithm for Load Balancing in Cellular Networks [33.72503214603868]
  セルラーネットワークでは、ユーザ機器(UE)が基地局から別の基地局へハンドオフし、BS間の負荷分散問題を引き起こした。 本稿では,負荷分散問題をマルコフゲームとして定式化し,ロバストマルチエージェント・アテンション・アクタ・クリティカル(Robust-MA3C)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-14T15:51:33Z)
• Combining Reinforcement Learning and Tensor Networks, with an Application to Dynamical Large Deviations [0.0]
  テンソルネットワーク(TN)と強化学習(RL)を統合するためのフレームワークを提案する。 我々は,RL問題に対するモデルフリーアプローチであるアクター批判法を考察し,そのポリシーと値関数の近似としてTNを導入する。
  論文  参考訳（メタデータ） (2022-09-28T13:33:31Z)
• Learning Distributed and Fair Policies for Network Load Balancing as Markov Potentia Game [4.892398873024191]
  本稿では、複数のロードバランサ(LB)を配置するデータセンター(DC)におけるネットワーク負荷分散問題について検討する。 この問題の課題は、異種処理アーキテクチャと動的環境から成り立っている。 マルチエージェント負荷分散問題をマルコフポテンシャルゲームとして定式化し、そのポテンシャル関数としてのワークロード分布の公平さを慎重に適切に設計する。 ゲームのナッシュ平衡を近似するために,完全分散MARLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-03T08:29:02Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Towards Intelligent Load Balancing in Data Centers [0.5505634045241288]
  本稿では,機械学習とネットワークシステムのギャップを埋めるため,Aquariusを提案する。 オフラインデータ分析とオンラインモデル展開の両方を現実的なシステムで実行する能力を示している。
  論文  参考訳（メタデータ） (2021-10-27T12:47:30Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。