論文の概要: Sequence-to-sequence models for workload interference

• arxiv url: http://arxiv.org/abs/2006.14429v2
• Date: Mon, 6 Jul 2020 14:23:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 03:12:28.793911
• Title: Sequence-to-sequence models for workload interference
• Title（参考訳）: ワークロード干渉のシーケンス・ツー・シーケンスモデル
• Authors: David Buchaca Prats, Joan Marcual, Josep Llu\'is Berral, David Carrera
• Abstract要約: データセンターでのジョブのスケジューリングは難しいシナリオであり、ジョブは厳しいスローダウンや実行の失敗につながるリソースを競うことができる。 現在のテクニックは、多くが機械学習とジョブモデリングを含むもので、時間にわたってワークロードの振る舞いを要約に基づいている。 本稿では,リソースや実行時間に対する行動に基づいて,データセンタ上でのジョブの協調スケジューリングをモデル化する手法を提案する。
• 参考スコア（独自算出の注目度）: 1.988145627448243
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Co-scheduling of jobs in data-centers is a challenging scenario, where jobs can compete for resources yielding to severe slowdowns or failed executions. Efficient job placement on environments where resources are shared requires awareness on how jobs interfere during execution, to go far beyond ineffective resource overbooking techniques. Current techniques, most of them already involving machine learning and job modeling, are based on workload behavior summarization across time, instead of focusing on effective job requirements at each instant of the execution. In this work we propose a methodology for modeling co-scheduling of jobs on data-centers, based on their behavior towards resources and execution time, using sequence-to-sequence models based on recurrent neural networks. The goal is to forecast co-executed jobs footprint on resources along their execution time, from the profile shown by the individual jobs, to enhance resource managers and schedulers placement decisions. The methods here presented are validated using High Performance Computing benchmarks based on different frameworks (like Hadoop and Spark) and applications (CPU bound, IO bound, machine learning, SQL queries...). Experiments show that the model can correctly identify the resource usage trends from previously seen and even unseen co-scheduled jobs.
• Abstract（参考訳）: データセンターでのジョブのスケジューリングは難しいシナリオであり、ジョブは厳しいスローダウンや実行の失敗につながるリソースを競うことができる。 リソースが共有される環境における効率的なジョブ配置には、実行中にジョブがどう干渉するかを意識する必要がある。 機械学習とジョブモデリングをすでに含んでいる現在のテクニックは、実行の各時点における効果的なジョブ要求に焦点をあてるのではなく、時間にわたってワークロードの振る舞いの要約に基づいている。 本研究では,リカレントニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルを用いて,リソースに対するジョブの振る舞いと実行時間に基づいて,データセンター上でのジョブのスケジューリングをモデル化する手法を提案する。 目標は、リソースマネージャとスケジューラの配置決定を強化するために、個々のジョブが示すプロファイルから、実行時間に沿ったリソースの共有ジョブフットプリントを予測することである。 ここで紹介するメソッドは,さまざまなフレームワーク(HadoopやSparkなど)とアプリケーション(CPUバウンド,IOバウンド,マシンラーニング,SQLクエリなど)に基づいて,ハイパフォーマンスコンピューティングベンチマークを使用して検証されている。 実験の結果,前例や未確認の共スケジュールジョブから,リソースの利用傾向を正確に識別できることがわかった。

関連論文リスト

• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorFBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorFEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することができることを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• A Memetic Algorithm with Reinforcement Learning for Sociotechnical Production Scheduling [0.0]
  本稿では、フレキシブルジョブショップスケジューリング問題(DRC-FJSSP)に深層強化学習(DRL)を適用したメメティックアルゴリズムを提案する。 産業における研究プロジェクトから、フレキシブルマシン、フレキシブルなヒューマンワーカー、作業能力、セットアップと処理操作、材料到着時間、材料製造の請求書の並列タスク、シーケンス依存のセットアップ時間、人間と機械のコラボレーションにおける(一部)自動化タスクを検討する必要性を認識します。
  論文  参考訳（メタデータ） (2022-12-21T11:24:32Z)
• Asynchronous Execution of Heterogeneous Tasks in ML-driven HPC Workflows [1.376408511310322]
  非同期実行は、リソース利用、タスクのスループット、sakepanの削減に不可欠である。 機械学習(ML)駆動ハイパフォーマンスコンピューティングにおける非同期タスク実行の要件と特性について検討する。 私たちの実験は,関連する科学的要因を表現し,サミットで大規模に実施し,非同期実行によるパフォーマンス向上が我々のモデルと一致していることを示す。
  論文  参考訳（メタデータ） (2022-08-23T16:25:48Z)
• Concepts and Algorithms for Agent-based Decentralized and Integrated Scheduling of Production and Auxiliary Processes [78.120734120667]
  本稿ではエージェントベースの分散型統合スケジューリング手法について述べる。 要求の一部は、線形にスケールする通信アーキテクチャを開発することである。 このアプローチは、工業的要件に基づいた例を使って説明されます。
  論文  参考訳（メタデータ） (2022-05-06T18:44:29Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• On the Potential of Execution Traces for Batch Processing Workload Optimization in Public Clouds [0.0]
  本稿では,匿名化されたワークロード実行トレースをユーザ間で共有するための協調的アプローチを提案する。 一般的なパターンとしてマイニングし、将来の最適化のために過去のワークロードのクラスタを活用します。
  論文  参考訳（メタデータ） (2021-11-16T20:11:36Z)
• Enel: Context-Aware Dynamic Scaling of Distributed Dataflow Jobs using Graph Propagation [52.9168275057997]
  本稿では,属性グラフ上でメッセージの伝搬を利用してデータフロージョブをモデル化する,新しい動的スケーリング手法であるEnelを提案する。 Enelが効果的な再スケーリングアクションを識別でき、例えばノードの障害に反応し、異なる実行コンテキストで再利用可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-27T10:21:08Z)
• Bellamy: Reusing Performance Models for Distributed Dataflow Jobs Across Contexts [52.9168275057997]
  本稿では、スケールアウト、データセットサイズ、ランタイムをデータフロージョブの記述的特性と組み合わせた新しいモデリング手法であるBelamyを提案する。 我々は,異なる環境で実行される各種データフロージョブの実行データからなる2つの公開データセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2021-07-29T11:57:38Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。