論文の概要: Analytically-Driven Resource Management for Cloud-Native Microservices
- arxiv url: http://arxiv.org/abs/2401.02920v1
- Date: Fri, 5 Jan 2024 17:55:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-08 14:25:35.995465
- Title: Analytically-Driven Resource Management for Cloud-Native Microservices
- Title(参考訳): クラウドネイティブマイクロサービスのための分析駆動型リソース管理
- Authors: Yanqi Zhang and Zhuangzhuang Zhou and Sameh Elnikety and Christina
Delimitrou
- Abstract要約: クラウドネイティブのための軽量リソース管理システムであるUrsaを紹介する。
UsaはエンドツーエンドのSLAパイプラインをサービス毎のSLAに分解し、サービス毎のSLAを層毎のリソース割り当てにマップする。
我々はUrsaを、ソーシャルネットワーク、メディアサービス、ビデオ処理を含む、代表的およびエンドツーエンドのマイクロサービストポロジのセットで評価する。
- 参考スコア(独自算出の注目度): 3.1022510428295287
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Resource management for cloud-native microservices has attracted a lot of
recent attention. Previous work has shown that machine learning (ML)-driven
approaches outperform traditional techniques, such as autoscaling, in terms of
both SLA maintenance and resource efficiency. However, ML-driven approaches
also face challenges including lengthy data collection processes and limited
scalability. We present Ursa, a lightweight resource management system for
cloud-native microservices that addresses these challenges. Ursa uses an
analytical model that decomposes the end-to-end SLA into per-service SLA, and
maps per-service SLA to individual resource allocations per microservice tier.
To speed up the exploration process and avoid prolonged SLA violations, Ursa
explores each microservice individually, and swiftly stops exploration if
latency exceeds its SLA.
We evaluate Ursa on a set of representative and end-to-end microservice
topologies, including a social network, media service and video processing
pipeline, each consisting of multiple classes and priorities of requests with
different SLAs, and compare it against two representative ML-driven systems,
Sinan and Firm. Compared to these ML-driven approaches, Ursa provides
significant advantages: It shortens the data collection process by more than
128x, and its control plane is 43x faster than ML-driven approaches. At the
same time, Ursa does not sacrifice resource efficiency or SLAs. During online
deployment, Ursa reduces the SLA violation rate by 9.0% up to 49.9%, and
reduces CPU allocation by up to 86.2% compared to ML-driven approaches.
- Abstract(参考訳): クラウドネイティブなマイクロサービスのためのリソース管理は、最近多くの注目を集めている。
これまでの研究によると、機械学習(ML)によるアプローチは、SLAのメンテナンスとリソース効率の両方の観点から、オートスケーリングのような従来のテクニックよりも優れている。
しかし、ML駆動のアプローチは、長いデータ収集プロセスや限られたスケーラビリティといった課題にも直面する。
このような課題に対処する,クラウドネイティブマイクロサービス用の軽量リソース管理システムであるursaを提案する。
Ursaは分析モデルを使用して、エンドツーエンドのSLAをサービス毎のSLAに分解し、サービス毎のSLAをマイクロサービス層毎のリソース割り当てにマップする。
探索プロセスをスピードアップし、長期にわたるSLA違反を回避するため、Ursaは個々のマイクロサービスを個別に探索し、レイテンシがSLAを超えた場合、素早く探索を停止する。
我々はUrsaを、ソーシャルネットワーク、メディアサービス、ビデオ処理パイプラインを含む代表的およびエンドツーエンドのマイクロサービストポロジのセットで評価し、それぞれ異なるSLAで複数のクラスとリクエストの優先順位で構成され、それを2つの代表的ML駆動システムであるSinanとFirmと比較した。
ml駆動のアプローチと比較して、ursaには大きなメリットがある。 データ収集プロセスを128倍以上に短縮し、そのコントロールプレーンはml駆動のアプローチよりも43倍高速である。
同時に、Ursaはリソース効率やSLAを犠牲にしません。
オンラインデプロイメント中、UrsaはSLA違反率を9.0%から49.9%に下げ、ML駆動のアプローチと比較してCPU割り当てを86.2%削減する。
関連論文リスト
- Characterization of Large Language Model Development in the Datacenter [55.9909258342639]
大きな言語モデル(LLM)は、いくつかの変換タスクにまたがって素晴らしいパフォーマンスを示している。
しかし,大規模クラスタ資源を効率よく利用してLCMを開発することは容易ではない。
我々は,GPUデータセンタAcmeから収集した6ヶ月のLDM開発ワークロードの詳細な評価を行った。
論文 参考訳(メタデータ) (2024-03-12T13:31:14Z) - Feast Your Eyes: Mixture-of-Resolution Adaptation for Multimodal Large
Language Models [84.78513908768011]
MRA(Mixture-of-Resolution Adaptation)と呼ばれるMLLMの新規かつ効率的な手法を提案する。
MRAは解像度の異なる画像に対して2つの視覚経路を採用し、高解像度の視覚情報を低解像度の経路に埋め込む。
MRAを検証するために、LLaVAと呼ばれる最近のMLLMに適用し、新しいモデルLLaVA-HRと呼ぶ。
論文 参考訳(メタデータ) (2024-03-05T14:31:24Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳(メタデータ) (2024-02-26T18:59:03Z) - BiLLM: Pushing the Limit of Post-Training Quantization for LLMs [55.61026644837707]
BiLLMは、事前訓練された大規模言語モデルに適した1ビット後のトレーニング後の量子化スキームである。
LLaMA2-70Bの8.41パープレキシティは、様々なLLMファミリーで1.08ビットの重みしか持たない。
これにより、1つのGPU上で0.5時間以内に70億重量のLLMをバイナライズし、良好な時間効率を示すことができる。
論文 参考訳(メタデータ) (2024-02-06T09:26:34Z) - BOLAA: Benchmarking and Orchestrating LLM-augmented Autonomous Agents [103.28404907655542]
大規模言語モデル(LLM)は、自律エージェント(LAA)の新たな探索に繋がった。
本稿では,エージェントアーキテクチャとLLMバックボーンの両方の観点から,LAAの包括的な比較を行う。
我々は、複数のLAAを編成する新しい戦略を提案し、各LAAは、複数のエージェント間の通信を管理する制御器であるテキストティティ(textiti.e. BOLAA)に焦点をあてる。
論文 参考訳(メタデータ) (2023-08-11T06:37:54Z) - Reconciling High Accuracy, Cost-Efficiency, and Low Latency of Inference
Serving Systems [0.0]
InfAdapterは、レイテンシSLOを満たすために、リソース割り当てでMLモデルの一連の変種を積極的に選択する。
SLO違反を減らし、業界で人気のオートスケーラと比較して、それぞれ65%と33%に値下げする。
論文 参考訳(メタデータ) (2023-04-21T11:19:49Z) - Autothrottle: A Practical Bi-Level Approach to Resource Management for SLO-Targeted Microservices [30.075132870154153]
Autothrottleは、サービスレベルの目的のための双方向のリソース管理フレームワークである。
サービスリソースコントロールからアプリケーションフィードバックをトラバースし、パフォーマンス目標という概念を通じてそれらをブリッジします。
その結果、最高成績のベースラインを26.21%、全ベースラインを93.84%上回った。
論文 参考訳(メタデータ) (2022-12-23T07:42:56Z) - Fast Continuous and Integer L-shaped Heuristics Through Supervised
Learning [4.521119623956821]
混合整数線形二段階プログラムの解を高速化する手法を提案する。
我々は,第2段階の要求の高い問題を解決することを目的としている。
私たちの中核となる考え方は、オンラインソリューションの時間を大幅に削減し、第一段階ソリューションの精度を小さくすることです。
論文 参考訳(メタデータ) (2022-05-02T13:15:32Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳(メタデータ) (2022-03-17T02:38:49Z) - Sinan: Data-Driven, QoS-Aware Cluster Management for Microservices [3.6923632650826477]
Sinanはインタラクティブクラウド用のデータ駆動クラスタマネージャで、オンラインであり、アロケーション・アウェアである。
インタラクティブクラウドのためのデータ駆動型クラスタマネージャであるSinanを,オンラインかつアロケーション・アウェアで紹介する。
論文 参考訳(メタデータ) (2021-05-27T19:57:51Z) - Towards Demystifying Serverless Machine Learning Training [19.061432528378788]
本稿では、サーバーレスインフラストラクチャ上で分散機械学習トレーニングを体系的に比較研究する。
サーバレスインフラストラクチャを選択する際に考慮すべきコスト/パフォーマンストレードオフをキャプチャする分析モデルを開発する。
論文 参考訳(メタデータ) (2021-05-17T13:19:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。