論文の概要: PBScaler: A Bottleneck-aware Autoscaling Framework for
Microservice-based Applications
- arxiv url: http://arxiv.org/abs/2303.14620v2
- Date: Sun, 5 Nov 2023 04:32:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 23:21:34.339730
- Title: PBScaler: A Bottleneck-aware Autoscaling Framework for
Microservice-based Applications
- Title(参考訳): PBScaler: マイクロサービスベースのアプリケーションのためのBottleneck対応オートスケーリングフレームワーク
- Authors: Shuaiyu Xie, Jian Wang, Bing Li, Zekun Zhang, Duantengchuan Li,
Patrick C. K. H
- Abstract要約: マイクロサービスベースのアプリケーションのためのボトルネック対応自動スケーリングフレームワークPBScalerを提案する。
PBScalerは資源を効率的に保存しながら既存の手法より優れていることを示す。
- 参考スコア(独自算出の注目度): 6.453782169615384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autoscaling is critical for ensuring optimal performance and resource
utilization in cloud applications with dynamic workloads. However, traditional
autoscaling technologies are typically no longer applicable in
microservice-based applications due to the diverse workload patterns and
complex interactions between microservices. Specifically, the propagation of
performance anomalies through interactions leads to a high number of abnormal
microservices, making it difficult to identify the root performance bottlenecks
(PBs) and formulate appropriate scaling strategies. In addition, to balance
resource consumption and performance, the existing mainstream approaches based
on online optimization algorithms require multiple iterations, leading to
oscillation and elevating the likelihood of performance degradation. To tackle
these issues, we propose PBScaler, a bottleneck-aware autoscaling framework
designed to prevent performance degradation in a microservice-based
application. The key insight of PBScaler is to locate the PBs. Thus, we propose
TopoRank, a novel random walk algorithm based on the topological potential to
reduce unnecessary scaling. By integrating TopoRank with an offline
performance-aware optimization algorithm, PBScaler optimizes replica management
without disrupting the online application. Comprehensive experiments
demonstrate that PBScaler outperforms existing state-of-the-art approaches in
mitigating performance issues while conserving resources efficiently.
- Abstract(参考訳): 動的ワークロードを持つクラウドアプリケーションの最適なパフォーマンスとリソース利用を確保するには、自動スケーリングが不可欠である。
しかしながら、従来の自動スケーリング技術は、さまざまなワークロードパターンとマイクロサービス間の複雑なインタラクションのため、マイクロサービスベースのアプリケーションではもはや適用できない。
具体的には、インタラクションによるパフォーマンス異常の伝播は、多数の異常なマイクロサービスにつながるため、ルートパフォーマンスボトルネック(PB)を特定し、適切なスケーリング戦略を定式化するのは難しい。
さらに、リソース消費とパフォーマンスのバランスをとるために、オンライン最適化アルゴリズムに基づく既存の主流のアプローチは、複数のイテレーションを必要とするため、振動を引き起こし、パフォーマンス低下の可能性を高める。
これらの問題に対処するため,我々は,マイクロサービスベースのアプリケーションのパフォーマンス低下を防止するために設計されたボトルネック対応自動スケーリングフレームワークpbscalerを提案する。
PBScalerの重要な洞察はPBを見つけることである。
そこで本稿では,不要なスケーリングを低減すべく,位相ポテンシャルに基づく新しいランダムウォークアルゴリズムであるtoporankを提案する。
toporankとオフラインのパフォーマンスアウェア最適化アルゴリズムを統合することで、pbscalerはオンラインアプリケーションを混乱させることなくレプリカ管理を最適化する。
PBScalerは、リソースを効率的に保存しながら、パフォーマンス上の問題を軽減し、既存の最先端のアプローチよりも優れていることを示す総合的な実験である。
関連論文リスト
- APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs [81.5049387116454]
我々は、効率的な長文推論フレームワークであるAPBを紹介する。
APBはプリフィル速度を高めるためにマルチホスト近似アテンションを使用する。
APBはFlashAttn、RingAttn、StarAttnと比較して最大9.2x、4.2x、1.6xの速度を実現している。
論文 参考訳(メタデータ) (2025-02-17T17:59:56Z) - STaleX: A Spatiotemporal-Aware Adaptive Auto-scaling Framework for Microservices [3.0846824529023382]
本稿では,これらの課題に対処するための制御理論,機械学習,時相の組み合わせを提案する。
本稿では,機能を統合し,リアルタイムリソース調整を可能にする適応型自動スケーリングフレームワークSTXaleを提案する。
当社のフレームワークは、サービス仕様やサービス間の依存関係を含む機能に加えて、ワークロードの時間的変動も考慮しています。
論文 参考訳(メタデータ) (2025-01-30T20:19:13Z) - Microservice Deployment in Space Computing Power Networks via Robust Reinforcement Learning [43.96374556275842]
低レイテンシ要件を満たすために、信頼性の高いリアルタイムリモートセンシングサービスを提供することが重要である。
本稿では、低地球軌道衛星コンステレーション用に設計されたリモートセンシング人工知能アプリケーションデプロイメントフレームワークを提案する。
論文 参考訳(メタデータ) (2025-01-08T16:55:04Z) - Neural Horizon Model Predictive Control -- Increasing Computational Efficiency with Neural Networks [0.0]
予測制御をモデル化するための機械学習支援手法を提案する。
安全保証を維持しつつ,問題地平線の一部を近似することを提案する。
提案手法は,迅速な制御応答を必要とするアプリケーションを含む,幅広いアプリケーションに適用可能である。
論文 参考訳(メタデータ) (2024-08-19T08:13:37Z) - Sparser is Faster and Less is More: Efficient Sparse Attention for Long-Range Transformers [58.5711048151424]
SPARSEK Attention(SPARSEK Attention)は、計算およびメモリ障害を克服するために設計された、新しいスパースアテンション機構である。
提案手法では,各クエリに対して一定数のKVペアを選択するために,スコアリングネットワークと差別化可能なトップkマスク演算子であるSPARSEKを統合する。
実験結果から,SPARSEK注意は従来のスパースアテンション法よりも優れていた。
論文 参考訳(メタデータ) (2024-06-24T15:55:59Z) - Quantum Algorithm Exploration using Application-Oriented Performance
Benchmarks [0.0]
Application-Oriented BenchmarksのQED-Cスイートは、量子コンピュータの性能特性を測定する機能を提供する。
我々は,このベンチマーク手法がより複雑なアプリケーションに適用される可能性を広げる上での課題について検討する。
論文 参考訳(メタデータ) (2024-02-14T06:55:50Z) - Adaptive Resource Allocation for Virtualized Base Stations in O-RAN with Online Learning [55.08287089554127]
基地局(vBS)を備えたオープンラジオアクセスネットワークシステムは、柔軟性の向上、コスト削減、ベンダーの多様性、相互運用性のメリットを提供する。
本研究では,予期せぬ「混み合う」環境下であっても,効率的なスループットとvBSエネルギー消費のバランスをとるオンライン学習アルゴリズムを提案する。
提案手法は, 課題のある環境においても, 平均最適性ギャップをゼロにすることで, サブ線形後悔を実現する。
論文 参考訳(メタデータ) (2023-09-04T17:30:21Z) - A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - DeepScaler: Holistic Autoscaling for Microservices Based on
Spatiotemporal GNN with Adaptive Graph Learning [4.128665560397244]
本稿では,ディープラーニングに基づく総合的オートスケーリング手法であるDeepScalerを提案する。
サービスレベルの合意(SLA)とコスト効率を最適化するために、サービス依存関係に対処することに焦点を当てています。
実験により,本手法はマイクロサービスのより効率的な自動スケーリング機構を実装していることが示された。
論文 参考訳(メタデータ) (2023-09-02T08:22:21Z) - Energy-efficient Task Adaptation for NLP Edge Inference Leveraging
Heterogeneous Memory Architectures [68.91874045918112]
Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。
検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
論文 参考訳(メタデータ) (2023-03-25T14:40:59Z) - JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。
GP-UCBに類似した条件下では, 応答が得られないことを示す。
実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
論文 参考訳(メタデータ) (2021-06-02T05:03:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。