論文の概要: Reconciling High Accuracy, Cost-Efficiency, and Low Latency of Inference
Serving Systems
- arxiv url: http://arxiv.org/abs/2304.10892v2
- Date: Mon, 24 Apr 2023 12:47:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-25 11:11:06.730625
- Title: Reconciling High Accuracy, Cost-Efficiency, and Low Latency of Inference
Serving Systems
- Title(参考訳): 推論サービスシステムの高精度、コスト効率、低レイテンシの調整
- Authors: Mehran Salmani (1), Saeid Ghafouri (2 and 4), Alireza Sanaee (2),
Kamran Razavi (3), Max M\"uhlh\"auser (3), Joseph Doyle (2), Pooyan Jamshidi
(4), Mohsen Sharifi (1) ((1) Iran University of Science and Technology, (2)
Queen Mary University of London, (3) Technical University of Darmstadt, (4)
University of South Carolina)
- Abstract要約: InfAdapterは、レイテンシSLOを満たすために、リソース割り当てでMLモデルの一連の変種を積極的に選択する。
SLO違反を減らし、業界で人気のオートスケーラと比較して、それぞれ65%と33%に値下げする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of machine learning (ML) inference for various applications is
growing drastically. ML inference services engage with users directly,
requiring fast and accurate responses. Moreover, these services face dynamic
workloads of requests, imposing changes in their computing resources. Failing
to right-size computing resources results in either latency service level
objectives (SLOs) violations or wasted computing resources. Adapting to dynamic
workloads considering all the pillars of accuracy, latency, and resource cost
is challenging. In response to these challenges, we propose InfAdapter, which
proactively selects a set of ML model variants with their resource allocations
to meet latency SLO while maximizing an objective function composed of accuracy
and cost. InfAdapter decreases SLO violation and costs up to 65% and 33%,
respectively, compared to a popular industry autoscaler (Kubernetes Vertical
Pod Autoscaler).
- Abstract(参考訳): さまざまなアプリケーションに対する機械学習(ML)推論の利用は、急速に増加している。
ML推論サービスは、ユーザに直接関与し、迅速かつ正確な応答を必要とする。
さらに、これらのサービスは要求の動的ワークロードに直面し、コンピューティングリソースの変更を暗示します。
適切なサイズのコンピューティングリソースに失敗すると、レイテンシサービスレベル目標(SLO)違反または無駄なコンピューティングリソースが発生します。
正確性、レイテンシ、リソースコストのすべての柱を考慮した動的ワークロードへの適応は困難である。
InfAdapterは、そのリソース割り当てでMLモデルの変種を積極的に選択してレイテンシSLOを満たすとともに、精度とコストからなる目的関数を最大化する。
InfAdapterは、人気の業界オートスケーラ(Kubernetes Vertical Pod Autoscaler)と比較して、SLO違反を減らし、それぞれ65%と33%のコストを削減している。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [57.49531095113406]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - Multi-Level ML Based Burst-Aware Autoscaling for SLO Assurance and Cost
Efficiency [3.5624365288866007]
本稿では、複雑なワークロード下でコンテナ化されたクラウドサービスやアプリケーションのためのBurst-Aware AutoscalingフレームワークであるBAScalerを紹介します。
BAScalerには、予測可能な周期的なワークロードスパイクと実際のバーストを区別する、予測に基づく新しいバースト検出機構が組み込まれている。
論文 参考訳(メタデータ) (2024-02-20T12:28:25Z) - Lifelong Learning for Fog Load Balancing: A Transfer Learning Approach [0.7366405857677226]
待ち時間の最小化により,IoTアプリケーションの実行遅延を最適化するプライバシ対応強化学習(RL)エージェントの性能向上を図る。
本稿では,行動遅延を最小限に抑えるために軽量推論モデルを用いて,環境変化が著しい場合にのみ再訓練を行う,これらのエージェントのための生涯学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-08T14:49:33Z) - User Assignment and Resource Allocation for Hierarchical Federated
Learning over Wireless Networks [20.09415156099031]
階層FL(Hierarchical FL)は、効率的なリソース割り当てと適切なユーザ割り当てによって、エネルギー消費とレイテンシを低減する。
本稿では,スペクトル資源最適化アルゴリズム(SROA)とHFLのための2段階CPUアルゴリズム(TSIA)を提案する。
実験により,提案したHFLフレームワークは,エネルギーと遅延低減に関する既存の研究よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-09-17T12:10:39Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - FIRE: A Failure-Adaptive Reinforcement Learning Framework for Edge
Computing Migrations [55.131858975133085]
FIREは、エッジコンピューティングのディジタルツイン環境でRLポリシーをトレーニングすることで、まれなイベントに適応するフレームワークである。
ImREは重要なサンプリングに基づくQ-ラーニングアルゴリズムであり、希少事象をその値関数への影響に比例してサンプリングする。
FIREは故障時にバニラRLやグリーディベースラインと比較してコストを削減できることを示す。
論文 参考訳(メタデータ) (2022-09-28T19:49:39Z) - Multi-Agent Reinforcement Learning for Long-Term Network Resource
Allocation through Auction: a V2X Application [7.326507804995567]
我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。
我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。
本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-29T10:29:06Z) - How Much More Data Do I Need? Estimating Requirements for Downstream
Tasks [99.44608160188905]
小さなトレーニングデータセットと学習アルゴリズムがあれば、ターゲットの検証やテストのパフォーマンスに到達するのに、どれくらいのデータが必要か?
データ要求を過大評価または過小評価すると、十分な予算で回避できる相当なコストが発生する。
本ガイドラインを用いることで,機械学習システムのデータ要求を正確に推定し,開発時間とデータ取得コストの双方で節約することができる。
論文 参考訳(メタデータ) (2022-07-04T21:16:05Z) - A Predictive Autoscaler for Elastic Batch Jobs [8.354712625979776]
Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。
顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
論文 参考訳(メタデータ) (2020-10-10T17:35:55Z) - Optimization-driven Machine Learning for Intelligent Reflecting Surfaces
Assisted Wireless Networks [82.33619654835348]
インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。
散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。
本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
論文 参考訳(メタデータ) (2020-08-29T08:39:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。