論文の概要: Compass: A Decentralized Scheduler for Latency-Sensitive ML Workflows

• arxiv url: http://arxiv.org/abs/2402.17652v2
• Date: Wed, 28 Feb 2024 17:27:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 17:34:25.672909
• Title: Compass: A Decentralized Scheduler for Latency-Sensitive ML Workflows
• Title（参考訳）: Compass: レイテンシに敏感なMLワークフローのための分散スケジューリング
• Authors: Yuting Yang, Andrea Merlina, Weijia Song, Tiancheng Yuan, Ken Birman, Roman Vitenberg
• Abstract要約: 我々は、GPU対応のワーカが協調して複雑なクエリを実行する分散システムにおけるMLクエリ処理について検討する。 このようなシステムでは、GPUメモリ管理とタスク配置の共スケジューリングが有望な機会である。 資源を効率的に利用しながら、仕事の遅延を軽減するためにこれらの機能を統一する新しいフレームワークであるCompassを提案する。
• 参考スコア（独自算出の注目度）: 0.792324422300924
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider ML query processing in distributed systems where GPU-enabled workers coordinate to execute complex queries: a computing style often seen in applications that interact with users in support of image processing and natural language processing. In such systems, coscheduling of GPU memory management and task placement represents a promising opportunity. We propose Compass, a novel framework that unifies these functions to reduce job latency while using resources efficiently, placing tasks where data dependencies will be satisfied, collocating tasks from the same job (when this will not overload the host or its GPU), and efficiently managing GPU memory. Comparison with other state of the art schedulers shows a significant reduction in completion times while requiring the same amount or even fewer resources. In one case, just half the servers were needed for processing the same workload.
• Abstract（参考訳）: gpu対応ワーカーが複雑なクエリを実行するために協調する分散システムにおけるmlクエリ処理について考察する: 画像処理と自然言語処理をサポートするユーザと対話するアプリケーションでよく見られるコンピューティングスタイル。 このようなシステムでは、GPUメモリ管理とタスク配置のスケジューリングが有望な機会である。 我々は、リソースを効率的に使用しながらジョブのレイテンシを削減し、データ依存性が満たされるタスクを配置し、同じジョブからタスクをコロケーションする(これがホストやgpuをオーバーロードしない場合)、gpuメモリを効率的に管理する、これらの機能を統一する新しいフレームワークcompassを提案する。 アートスケジューラの他の状態と比較すると、同じ量またはより少ないリソースを必要としながら、完了時間が大幅に短縮される。 あるケースでは、同じワークロードを処理するのにサーバの半分しか必要なかった。

関連論文リスト

• Is the GPU Half-Empty or Half-Full? Practical Scheduling Techniques for LLMs [3.7758841366694353]
  文献および実用サービスシステムからスケジューリング手法を調査する。 文献からのスケジューラは、しばしば優れたパフォーマンスを得るが、かなりの複雑さをもたらす。 対照的に、実際のデプロイメントにおけるスケジューラは、しばしばテーブルに簡単にパフォーマンス向上を残しますが、実装、デプロイ、設定が容易です。
  論文  参考訳（メタデータ） (2024-10-23T13:05:46Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• FusionAI: Decentralized Training and Deploying LLMs with Massive Consumer-Level GPUs [57.12856172329322]
  我々は、巨大な未使用のコンシューマレベルのGPUをアンロックする分散システムを構想する。 このシステムは、CPUとGPUメモリの制限、ネットワーク帯域幅の低さ、ピアとデバイスの多様性など、重要な課題に直面している。
  論文  参考訳（メタデータ） (2023-09-03T13:27:56Z)
• Partitioning Distributed Compute Jobs with Reinforcement Learning and Graph Neural Networks [58.720142291102135]
  大規模な機械学習モデルは、幅広い分野に進歩をもたらしている。 これらのモデルの多くは、単一のマシンでトレーニングするには大きすぎるため、複数のデバイスに分散する必要がある。 スループットやブロッキングレートといったユーザクリティカルな指標に対して,並列化の最大化が準最適であることを示す。
  論文  参考訳（メタデータ） (2023-01-31T17:41:07Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Asynchronous Parallel Incremental Block-Coordinate Descent for Decentralized Machine Learning [55.198301429316125]
  機械学習(ML)は、巨大なIoT(Internet of Things)ベースのインテリジェントでユビキタスなコンピューティングのビッグデータ駆動モデリングと分析のための重要なテクニックである。 急成長するアプリケーションやデータ量にとって、分散学習は有望な新興パラダイムである。 本稿では,多くのユーザデバイスに分散した分散システム上でMLモデルをトレーニングする問題について検討する。
  論文  参考訳（メタデータ） (2022-02-07T15:04:15Z)
• Synergy: Resource Sensitive DNN Scheduling in Multi-Tenant Clusters [10.38396444951436]
  深層ニューラルネットワーク(DNN)のトレーニングは、企業とクラウドデータセンターの両方で広く使われているワークロードである。 共有GPUクラスタのためのリソースセンシティブなスケジューラであるSynergyを提案する。 実験の結果,従来のGPUに比例したスケジューリングに比べて,負荷対応のCPUとメモリアロケーションは平均JCTを3.4倍改善できることがわかった。
  論文  参考訳（メタデータ） (2021-10-12T15:25:54Z)
• Multi-model Machine Learning Inference Serving with GPU Spatial Partitioning [7.05946599544139]
  高スループット機械学習(ML)推論サーバは、オンラインサービスアプリケーションには不可欠である。 これらのサーバは、一貫したサービスレベルの目的(SLO)をサポートするために、各リクエストに対してバウンドレイテンシを提供しなければならない。 本稿では,マルチモデルML推論サーバのための新しいML推論スケジューリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-01T04:46:46Z)
• RTGPU: Real-Time GPU Scheduling of Hard Deadline Parallel Tasks with Fine-Grain Utilization [5.02836935036198]
  本論文では,複数のGPUアプリケーションの実行をリアルタイムにスケジュール可能なRTGPUを提案する。 提案手法は,従来の作業に比べてスケジューリング性に優れ,複数のGPUアプリケーションに厳しい期限をリアルタイムに保証する。
  論文  参考訳（メタデータ） (2021-01-25T22:34:06Z)
• Taskflow: A Lightweight Parallel and Heterogeneous Task Graph Computing System [12.813275501138193]
  Taskflowは、軽量なタスクグラフベースのアプローチを使用して、並列および異種アプリケーションの構築を合理化することを目的としている。 我々のプログラミングモデルは、グラフ内制御フローを伴うタスクグラフ並列性の非常に一般的なクラスとして、自分自身を区別する。 我々は実世界のアプリケーションでTaskflowの有望な性能を実証した。
  論文  参考訳（メタデータ） (2020-04-23T00:21:05Z)
• Straggler-aware Distributed Learning: Communication Computation Latency Trade-off [56.08535873173518]
  ストラグワーカーは冗長な計算を割り当て、データと計算をまたいでコーディングすることで許容できる。 既存のほとんどのスキームでは、各非ストラグリングワーカーは、全ての計算を完了した後、1イテレーションごとに1つのメッセージをパラメータサーバ(PS)に送信する。 このような制限を課すことで、ストレグリング動作の不正確な予測による過剰計算と、ストレグラー/非ストレグラーとしての作業員の処理による未使用の2つの主な欠点が生じる。
  論文  参考訳（メタデータ） (2020-04-10T08:39:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。