論文の概要: Carbon- and Precedence-Aware Scheduling for Data Processing Clusters
- arxiv url: http://arxiv.org/abs/2502.09717v1
- Date: Thu, 13 Feb 2025 19:06:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-17 14:46:14.164720
- Title: Carbon- and Precedence-Aware Scheduling for Data Processing Clusters
- Title（参考訳）: データ処理クラスタのための炭素および先行性を考慮したスケジューリング
- Authors: Adam Lechowicz, Rohan Shenoy, Noman Bashir, Mohammad Hajiesmaili, Adam Wierman, Christina Delimitrou,
- Abstract要約: データ処理のための炭素対応スケジューリングは、時間的変化のある炭素と優先順位の制約の両方の知識から恩恵を受けることを示す。
このスケジューラは, 炭素削減時間と仕事完了時間の間に優先順位を付与し, 両者のトレードオフを特徴付ける分析結果を与える。
100ノードクラスタ上のSparkプロトタイプは、$texttPCAPS$の適度な設定によって、クラスタ全体の効率に大きな影響を与えることなく、炭素フットプリントを最大32.9%削減できることを示している。
- 参考スコア（独自算出の注目度）: 10.676357280358886
- License:
- Abstract: As large-scale data processing workloads continue to grow, their carbon footprint raises concerns. Prior research on carbon-aware schedulers has focused on shifting computation to align with availability of low-carbon energy, but these approaches assume that each task can be executed independently. In contrast, data processing jobs have precedence constraints (i.e., outputs of one task are inputs for another) that complicate decisions, since delaying an upstream ``bottleneck'' task to a low-carbon period will also block downstream tasks, impacting the entire job's completion time. In this paper, we show that carbon-aware scheduling for data processing benefits from knowledge of both time-varying carbon and precedence constraints. Our main contribution is $\texttt{PCAPS}$, a carbon-aware scheduler that interfaces with modern ML scheduling policies to explicitly consider the precedence-driven importance of each task in addition to carbon. To illustrate the gains due to fine-grained task information, we also study $\texttt{CAP}$, a wrapper for any carbon-agnostic scheduler that adapts the key provisioning ideas of $\texttt{PCAPS}$. Our schedulers enable a configurable priority between carbon reduction and job completion time, and we give analytical results characterizing the trade-off between the two. Furthermore, our Spark prototype on a 100-node Kubernetes cluster shows that a moderate configuration of $\texttt{PCAPS}$ reduces carbon footprint by up to 32.9% without significantly impacting the cluster's total efficiency.
- Abstract（参考訳）: 大規模データ処理のワークロードが拡大を続けるにつれ、その炭素フットプリントが懸念を高めている。
炭素対応スケジューラに関する以前の研究は、低炭素エネルギーの可用性に合わせて計算をシフトすることに重点を置いていたが、これらの手法は各タスクを独立して実行できると仮定している。
対照的に、データ処理ジョブは、上流の ``bottleneck' タスクを低炭素周期に遅延させることで、下流のタスクもブロックされ、ジョブ全体の完了時間に影響を与えるため、決定を複雑にする制約(すなわち、あるタスクの出力は別のタスクの入力である)がある。
本稿では,データ処理における炭素を意識したスケジューリングが,時間的制約と優先制約の両方の知識から恩恵を受けることを示す。
私たちの主なコントリビューションは$\texttt{PCAPS}$であり、これは炭素に加えて、各タスクの優先順位駆動の重要性を明示的に考慮するために、現代的なMLスケジューリングポリシーとインターフェースするカーボン対応スケジューラです。
細粒度のタスク情報による利得を説明するために、例えば$\texttt{CAP}$は、炭素に依存しないスケジューラのラッパーで、$\texttt{PCAPS}$のキープロビジョニングのアイデアを適応させる。
このスケジューラは, 炭素削減と作業完了までの優先度の設定を可能にし, 両者のトレードオフを特徴付ける分析結果を与える。
さらに、100ノードのKubernetesクラスタ上のSparkプロトタイプでは、$\texttt{PCAPS}$の適度な設定によって、クラスタ全体の効率に大きな影響を与えずに、カーボンフットプリントを最大32.9%削減しています。
関連論文リスト
- The Sunk Carbon Fallacy: Rethinking Carbon Footprint Metrics for Effective Carbon-Aware Scheduling [2.562727244613512]
本研究は, 炭素会計指標を用いて, 所定のサーバ群上での炭素を意識したジョブスケジューリングと配置を評価する。
本研究では, 炭素添加コストに影響を及ぼす要因について検討した。
論文 参考訳（メタデータ） (2024-10-19T12:23:59Z) - Parameter-Efficient Fine-Tuning in Spectral Domain for Point Cloud Learning [49.91297276176978]
私たちは小説を提案します。
ポイントGST (Point GST) と呼ばれる点雲の効率的な微細調整法。
ポイントGSTは事前トレーニングされたモデルを凍結し、スペクトル領域のパラメータを微調整するためのトレーニング可能なポイントクラウドスペクトルアダプタ(PCSA)を導入する。
挑戦的なポイントクラウドデータセットに関する大規模な実験は、ポイントGSTが完全に微調整されたデータセットを上回るだけでなく、トレーニング可能なパラメータを大幅に削減することを示した。
論文 参考訳（メタデータ） (2024-10-10T17:00:04Z) - CarbonClipper: Optimal Algorithms for Carbon-Aware Spatiotemporal Workload Management [11.029788598491077]
炭素を意識したワークロード管理は、データセンターの環境への影響の増大に対処しようとしている。
MathsfSOAD$は、オンラインアルゴリズムにおける一般的なメトリクスと期限制約を組み合わせたオープンな問題を公式化する。
rm Cscriptsize ARCscriptsize LIPPER$は、予測の利点を生かした学習強化アルゴリズムである。
論文 参考訳（メタデータ） (2024-08-14T22:08:06Z) - Generative AI for Low-Carbon Artificial Intelligence of Things with Large Language Models [67.0243099823109]
ジェネレーティブAI(GAI)は、AIoT(Artificial Intelligence of Things)の二酸化炭素排出量を減らす大きな可能性を秘めている
本稿では, 炭素排出量削減のためのGAIの可能性について検討し, 低炭素AIoTのための新しいGAI対応ソリューションを提案する。
本稿では,Large Language Model (LLM) を利用したCO_2排出最適化フレームワークを提案し,このフレームワークにより,プラグ可能なLLMとRetrieval Augmented Generation (RAG) モジュールを設計する。
論文 参考訳（メタデータ） (2024-04-28T05:46:28Z) - Continual Learning on a Diet: Learning from Sparsely Labeled Streams Under Constrained Computation [123.4883806344334]
本研究では,学習アルゴリズムが学習段階ごとに制限された計算予算を付与する,現実的な連続学習環境について検討する。
この設定を,スパースラベル率の高い大規模半教師付き連続学習シナリオに適用する。
広範に分析と改善を行った結果,DietCLはラベル空間,計算予算,その他様々な改善の完全な範囲で安定していることがわかった。
論文 参考訳（メタデータ） (2024-04-19T10:10:39Z) - LACS: Learning-Augmented Algorithms for Carbon-Aware Resource Scaling with Uncertain Demand [1.423958951481749]
本稿では,未知の作業時間(OCSU)を用いたオンラインCO_2-Awareリソーススケーリング問題について検討する。
我々は,論理的に堅牢な学習拡張アルゴリズムであるLACSを提案し,OCSUを解く。
LACSは、納期を意識した炭素に依存しない作業と比較して、炭素フットプリントの32%の削減を実現している。
論文 参考訳（メタデータ） (2024-03-29T04:54:22Z) - GreenCourier: Carbon-Aware Scheduling for Serverless Functions [1.2092241176897844]
GreenCourierは、そのカーボン効率に基づいて、地理的に分散したリージョンにわたるサーバレス機能のランタイムスケジューリングを可能にするスケジューリングフレームワークである。
実験の結果、グリーンクーリエは他の手法と比較して、機能呼び出し当たりの二酸化炭素排出量を平均13.25%削減していることがわかった。
論文 参考訳（メタデータ） (2023-10-31T11:35:50Z) - On the Limitations of Carbon-Aware Temporal and Spatial Workload
Shifting in the Cloud [0.6642611154902529]
当社は、クラウドワークロードにおける炭素認識スケジューリングのメリットと限界を理解するために、詳細なデータ駆動分析を実施しています。
この結果から, 限られた作業量シフトは二酸化炭素排出量を減少させるが, 現実的な削減は理想とは程遠いことが示唆された。
論文 参考訳（メタデータ） (2023-06-10T18:39:49Z) - Machine Guided Discovery of Novel Carbon Capture Solvents [48.7576911714538]
機械学習は、材料開発における時間とリソースの負担を軽減するための有望な方法を提供する。
そこで我々は, 市販の酸性ガススクラップ式炭素捕捉装置に適合する新規な水性アミンを, エンドツーエンドで発見する「発見サイクル」を開発した。
予測プロセスは、材料パラメータの両方の実験に対して60%の精度を示し、外部テストセット上では1つのパラメータに対して80%の精度を示す。
論文 参考訳（メタデータ） (2023-03-24T18:32:38Z) - Efficient Dataset Distillation Using Random Feature Approximation [109.07737733329019]
本稿では,ニューラルネットワークガウス過程(NNGP)カーネルのランダム特徴近似(RFA)を用いた新しいアルゴリズムを提案する。
我々のアルゴリズムは、KIP上で少なくとも100倍のスピードアップを提供し、1つのGPUで実行できる。
RFA蒸留 (RFAD) と呼ばれる本手法は, 大規模データセットの精度において, KIP や他のデータセット凝縮アルゴリズムと競合して動作する。
論文 参考訳（メタデータ） (2022-10-21T15:56:13Z) - Measuring the Carbon Intensity of AI in Cloud Instances [91.28501520271972]
我々は,ソフトウェアの炭素強度を測定するための枠組みを提供し,運転中の炭素排出量を測定することを提案する。
私たちは、Microsoft Azureクラウドコンピューティングプラットフォームにおける排出削減のための一連のアプローチを評価します。
論文 参考訳（メタデータ） (2022-06-10T17:04:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。