論文の概要: Reinforcement Learning-driven Data-intensive Workflow Scheduling for Volunteer Edge-Cloud

• arxiv url: http://arxiv.org/abs/2407.01428v1
• Date: Mon, 1 Jul 2024 16:21:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 20:41:15.490809
• Title: Reinforcement Learning-driven Data-intensive Workflow Scheduling for Volunteer Edge-Cloud
• Title（参考訳）: ボランティアエッジクラウドのための強化学習駆動型データ集約型ワークフロースケジューリング
• Authors: Motahare Mounesan, Mauro Lemus, Hemanth Yeddulapalli, Prasad Calyam, Saptarshi Debroy,
• Abstract要約: Volunteer Edge-Cloud (VEC) は、データ集約的な科学研究を支援するために、費用対効果の高いコミュニティコンピューティングパラダイムとして注目を集めている。 しかしながら、VECリソースの高度に分散した異種性のため、集中型ワークフロータスクスケジューリングは依然として課題である。 本稿では,Reinforcement Learning (RL) によるデータ集約型科学ワークフロースケジューリング手法を提案する。
• 参考スコア（独自算出の注目度）: 2.417545540754702
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In recent times, Volunteer Edge-Cloud (VEC) has gained traction as a cost-effective, community computing paradigm to support data-intensive scientific workflows. However, due to the highly distributed and heterogeneous nature of VEC resources, centralized workflow task scheduling remains a challenge. In this paper, we propose a Reinforcement Learning (RL)-driven data-intensive scientific workflow scheduling approach that takes into consideration: i) workflow requirements, ii) VEC resources' preference on workflows, and iii) diverse VEC resource policies, to ensure robust resource allocation. We formulate the long-term average performance optimization problem as a Markov Decision Process, which is solved using an event-based Asynchronous Advantage Actor-Critic RL approach. Our extensive simulations and testbed implementations demonstrate our approach's benefits over popular baseline strategies in terms of workflow requirement satisfaction, VEC preference satisfaction, and available VEC resource utilization.
• Abstract（参考訳）: 近年、Volunteer Edge-Cloud(VEC)は、データ集約的な科学ワークフローをサポートするための費用対効果の高いコミュニティコンピューティングパラダイムとして注目を集めている。 しかしながら、VECリソースの高度に分散した異種性のため、集中型ワークフロータスクスケジューリングは依然として課題である。 本稿では,Reinforcement Learning (RL) によるデータ集約型科学ワークフロースケジューリング手法を提案する。 i) ワークフロー要件 二 ワークフローに対するVEC資源の嗜好及び 三 多様なVEC資源政策により、堅牢な資源配分を確保すること。 本稿では、イベントベースの非同期アドバンテージアクタ・クリティカルRLアプローチを用いて、マルコフ決定プロセスとして、長期平均性能最適化問題を定式化する。 我々の大規模なシミュレーションとテストベッド実装は、ワークフロー要求満足度、VEC嗜好満足度、利用可能なVECリソース利用率の観点から、一般的なベースライン戦略よりも、私たちのアプローチの利点を実証しています。

関連論文リスト

• Reinforcement Learning for Adaptive Resource Scheduling in Complex System Environments [8.315191578007857]
  そこで本研究では,Q-ラーニングに基づく新しいコンピュータシステムの性能最適化と適応型ワークロード管理スケジューリングアルゴリズムを提案する。 対照的に、強化学習アルゴリズムであるQラーニングは、システムの状態変化から継続的に学習し、動的スケジューリングとリソース最適化を可能にする。 この研究は、将来の大規模システムにおけるAI駆動適応スケジューリングの統合の基礎を提供し、システムのパフォーマンスを高め、運用コストを削減し、持続可能なエネルギー消費をサポートするスケーラブルでインテリジェントなソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-08T05:58:09Z)
• Final Report for CHESS: Cloud, High-Performance Computing, and Edge for Science and Security [5.781151161558928]
  継続プラットフォームの構築、ワークフロータスクのオーケストレーション、データセットのキュレーションといった方法は、パフォーマンス、エネルギ、セキュリティ、信頼性に関する科学的要件を達成できない。 報告では、オープンサイエンスの観点から、CHESSの結果と成功について述べる。
  論文  参考訳（メタデータ） (2024-10-21T15:16:00Z)
• DNN Partitioning, Task Offloading, and Resource Allocation in Dynamic Vehicular Networks: A Lyapunov-Guided Diffusion-Based Reinforcement Learning Approach [49.56404236394601]
  本稿では,Vehicular Edge Computingにおける共同DNNパーティショニング,タスクオフロード,リソース割り当ての問題を定式化する。 我々の目標は、時間とともにシステムの安定性を保証しながら、DNNベースのタスク完了時間を最小化することである。 拡散モデルの革新的利用を取り入れたマルチエージェント拡散に基づく深層強化学習(MAD2RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-11T06:31:03Z)
• Energy-Efficient Federated Edge Learning with Streaming Data: A Lyapunov Optimization Approach [34.00679567444125]
  本研究では,長期エネルギー制約下でのデータ到着や資源の可利用性に固有のランダム性に対処する動的スケジューリングと資源割当アルゴリズムを開発した。 提案アルゴリズムは, デバイススケジューリング, 計算容量調整, 帯域幅の割り当ておよび各ラウンドの送信電力を適応的に決定する。 本手法の有効性をシミュレーションにより検証し,ベースライン方式と比較して学習性能とエネルギー効率が向上したことを示す。
  論文  参考訳（メタデータ） (2024-05-20T14:13:22Z)
• Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
  大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。 しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。 我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
  論文  参考訳（メタデータ） (2024-03-12T13:31:14Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion Control in Real Networks [63.24965775030673]
  そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。 我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。 我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
  論文  参考訳（メタデータ） (2023-02-02T18:27:20Z)
• Nemo: Guiding and Contextualizing Weak Supervision for Interactive Data Programming [77.38174112525168]
  私たちは、WS 学習パイプラインの全体的な生産性を、一般的な WS 監督アプローチと比較して平均20%(最大 47% のタスク)改善する、エンドツーエンドのインタラクティブなスーパービジョンシステムである Nemo を紹介します。
  論文  参考訳（メタデータ） (2022-03-02T19:57:32Z)
• MCDS: AI Augmented Workflow Scheduling in Mobile Edge Cloud Computing Systems [12.215537834860699]
  近年,エッジコンピューティングプラットフォームの低応答時間を利用してアプリケーション品質・オブ・サービス(QoS)を最適化するスケジューリング手法が提案されている。 本稿では,Deep Surrogate Models を用いたモンテカルロ学習を用いて,モバイルエッジクラウドコンピューティングシステムにおけるワークフローアプリケーションを効率的にスケジューリングする手法を提案する。
  論文  参考訳（メタデータ） (2021-12-14T10:00:01Z)
• Optimal Resource Allocation for Serverless Queries [8.59568779761598]
  以前の作業では、リソース割り当てと実行時の積極的なトレードオフを無視しながら、ピークアロケーションの予測に重点を置いていた。 本稿では,新しいクエリと過去のクエリの両方に対して,アグレッシブなトレードオフでパフォーマンスを予測できる最適なリソース割り当てシステムを提案する。
  論文  参考訳（メタデータ） (2021-07-19T02:55:48Z)
• Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep Learning [61.29990368322931]
  Polluxは、相互依存要因を適応的に最適化することで、ディープラーニング(DL)クラスタのスケジューリング性能を改善する。 Polluxは、最先端のDLスケジューラと比較して、平均的なジョブ完了時間を37-50%削減する。
  論文  参考訳（メタデータ） (2020-08-27T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。