Fugu-MT 論文翻訳(概要): Scalable Reinforcement Learning for Virtual Machine Scheduling

論文の概要: Scalable Reinforcement Learning for Virtual Machine Scheduling

arxiv url: http://arxiv.org/abs/2503.00537v1
Date: Sat, 01 Mar 2025 15:33:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:17:02.820579
Title: Scalable Reinforcement Learning for Virtual Machine Scheduling
Title（参考訳）: 仮想マシンスケジューリングのためのスケーラブル強化学習
Authors: Junjie Sheng, Jiehao Wu, Haochuan Cui, Yiqiu Hu, Wenli Zhou, Lei Zhu, Qian Peng, Wenhao Li, Xiangfeng Wang,
Abstract要約: クラスタ値分解強化学習(CVD-RL) 本稿では,クラスタ値分解強化学習(CVD-RL)と呼ばれるスケーラブルなRLフレームワークを紹介する。
参考スコア（独自算出の注目度）: 21.22990796153464
License:
Abstract: Recent advancements in reinforcement learning (RL) have shown promise for optimizing virtual machine scheduling (VMS) in small-scale clusters. The utilization of RL to large-scale cloud computing scenarios remains notably constrained. This paper introduces a scalable RL framework, called Cluster Value Decomposition Reinforcement Learning (CVD-RL), to surmount the scalability hurdles inherent in large-scale VMS. The CVD-RL framework innovatively combines a decomposition operator with a look-ahead operator to adeptly manage representation complexities, while complemented by a Top-$k$ filter operator that refines exploration efficiency. Different from existing approaches limited to clusters of $10$ or fewer physical machines (PMs), CVD-RL extends its applicability to environments encompassing up to $50$ PMs. Furthermore, the CVD-RL framework demonstrates generalization capabilities that surpass contemporary SOTA methodologies across a variety of scenarios in empirical studies. This breakthrough not only showcases the framework's exceptional scalability and performance but also represents a significant leap in the application of RL for VMS within complex, large-scale cloud infrastructures. The code is available at https://anonymous.4open.science/r/marl4sche-D0FE.
Abstract（参考訳）: 近年の強化学習(RL)は,小規模クラスタにおける仮想マシンスケジューリング(VMS)の最適化を約束している。大規模クラウドコンピューティングシナリオへのRLの利用は、依然として顕著に制限されている。本稿では,大規模VMSに固有のスケーラビリティのハードルを克服するため,クラスタ値分解強化学習(CVD-RL)と呼ばれるスケーラブルなRLフレームワークを提案する。 CVD-RLフレームワークは、分解演算子とルックアヘッド演算子を革新的に組み合わせて表現複雑性を適切に管理し、探索効率を向上するTop-$k$フィルタ演算子で補完する。 10ドル以下の物理マシン(PM)のクラスタに制限された既存のアプローチとは異なり、CVD-RLは最大50ドルPMの環境に適用可能である。さらに、CVD-RLフレームワークは、経験的研究における様々なシナリオにおいて、現代のSOTA方法論を超越した一般化能力を示す。このブレークスルーは、フレームワークの並外れたスケーラビリティとパフォーマンスを示すだけでなく、複雑な大規模クラウドインフラストラクチャにおけるVMSへのRLの適用において、大きな飛躍を見せている。コードはhttps://anonymous.4open.science/r/marl4sche-D0FEで公開されている。

関連論文リスト

D5RL: Diverse Datasets for Data-Driven Deep Reinforcement Learning [99.33607114541861]
ロボット操作と移動環境の現実的なシミュレーションに焦点を当てたオフラインRLのための新しいベンチマークを提案する。提案するベンチマークでは、状態ベースドメインと画像ベースドメインを対象とし、オフラインRLとオンライン微調整評価の両方をサポートしている。
論文参考訳（メタデータ） (2024-08-15T22:27:00Z)
ArCHer: Training Language Model Agents via Hierarchical Multi-Turn RL [80.10358123795946]
大規模言語モデルを微調整するためのマルチターンRLアルゴリズムを構築するためのフレームワークを開発する。我々のフレームワークは階層的なRLアプローチを採用し、2つのRLアルゴリズムを並列に実行している。実験により,ArCHerはエージェントタスクの効率と性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-02-29T18:45:56Z)
Scalable Volt-VAR Optimization using RLlib-IMPALA Framework: A Reinforcement Learning Approach [11.11570399751075]
本研究は, 深層強化学習(DRL)の可能性を活用した新しい枠組みを提案する。 DRLエージェントをRAYプラットフォームに統合することにより、RAYのリソースを効率的に利用してシステム適応性と制御を改善する新しいフレームワークであるRLlib-IMPALAの開発が容易になる。
論文参考訳（メタデータ） (2024-02-24T23:25:35Z)
Provably Efficient CVaR RL in Low-rank MDPs [58.58570425202862]
リスクに敏感な強化学習(RL)について検討する。本稿では, CVaR RLにおける探索, 搾取, 表現学習の相互作用のバランスをとるための, 新たなアッパー信頼境界(UCB)ボーナス駆動アルゴリズムを提案する。提案アルゴリズムは,各エピソードの長さが$H$,アクション空間が$A$,表現の次元が$d$であるような,エプシロン$最適CVaRのサンプル複雑性を実現する。
論文参考訳（メタデータ） (2023-11-20T17:44:40Z)
RL-I2IT: Image-to-Image Translation with Deep Reinforcement Learning [54.40719981158774]
画像から画像への変換(I2IT)手法は,ディープラーニング(DL)モデルの単一実行時に画像を生成する。深部強化学習(DRL)によるステップワイド意思決定問題としてI2ITを再構成する。 RLベースのI2IT(RL-I2IT)を実現する新しいフレームワークを提案する。
論文参考訳（メタデータ） (2023-09-24T15:40:40Z)
SRL: Scaling Distributed Reinforcement Learning to Over Ten Thousand Cores [13.948640763797776]
本稿では,RLトレーニングアプリケーションを汎用フレームワークに統合する,RLトレーニングのデータフローに関する新しい抽象化を提案する。スケーラブルで効率的で分散的なRLシステムであるReaLly scalableRLを開発した。 SRLは15k以上のCPUコアでRL実験を大規模に実施した初めての学術コミュニティである。
論文参考訳（メタデータ） (2023-06-29T05:16:25Z)
Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文参考訳（メタデータ） (2023-01-22T17:12:58Z)
Deep Reinforcement Learning for Computational Fluid Dynamics on HPC Systems [17.10464381844892]
強化学習(Reinforcement Learning, RL)は、動的システムの文脈における制御戦略の考案に非常に適している。近年の研究では、RL強化計算流体力学(CFD)の解法が最先端技術を超えることが示唆されている。我々は、機械学習とHPCシステム上の最新のCFDソルバ間のギャップを埋めるスケーラブルなRLフレームワークとしてRelexiを提示する。
論文参考訳（メタデータ） (2022-05-13T08:21:18Z)
POAR: Efficient Policy Optimization via Online Abstract State Representation Learning [6.171331561029968]
状態表現学習(SRL)は,複雑な感覚データからタスク関連特徴を低次元状態に符号化する。我々は、SRLの解釈を改善するために、専門家のデモンストレーションを活用するために、ドメイン類似と呼ばれる新しいSRLを導入する。我々はPOARを実証的に検証し、高次元のタスクを効率的に処理し、スクラッチから直接実生活ロボットの訓練を容易にする。
論文参考訳（メタデータ） (2021-09-17T16:52:03Z)
RL-Scope: Cross-Stack Profiling for Deep Reinforcement Learning Workloads [4.575381867242508]
RL-Scopeは、低レベルのCPU/GPUリソース使用量を高レベルのアルゴリズム操作にスコープするクロススタックプロファイラである。本稿では,RL-Scopeの実用性について,詳細なケーススタディを通して紹介する。
論文参考訳（メタデータ） (2021-02-08T15:42:48Z)
Offline Reinforcement Learning from Images with Latent Space Models [60.69745540036375]
オフライン強化学習(RL)とは、環境相互作用の静的データセットからポリシーを学習する問題を指します。オフラインRLのためのモデルベースアルゴリズムの最近の進歩の上に構築し、それらを高次元の視覚観測空間に拡張する。提案手法は, 実測可能であり, 未知のPOMDPにおけるELBOの下限の最大化に対応している。
論文参考訳（メタデータ） (2020-12-21T18:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。