論文の概要: Autothrottle: A Practical Bi-Level Approach to Resource Management for SLO-Targeted Microservices

• arxiv url: http://arxiv.org/abs/2212.12180v4
• Date: Wed, 11 Oct 2023 06:49:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-10-16 04:23:29.972672
• Title: Autothrottle: A Practical Bi-Level Approach to Resource Management for SLO-Targeted Microservices
• Title（参考訳）: autothrottle: スローターゲットマイクロサービスのリソース管理のための実用的なbiレベルアプローチ
• Authors: Zibo Wang, Pinghe Li, Chieh-Jan Mike Liang, Feng Wu, Francis Y. Yan
• Abstract要約: Autothrottleは、サービスレベルの目的のための双方向のリソース管理フレームワークである。 サービスリソースコントロールからアプリケーションフィードバックをトラバースし、パフォーマンス目標という概念を通じてそれらをブリッジします。 その結果、最高成績のベースラインを26.21%、全ベースラインを93.84%上回った。
• 参考スコア（独自算出の注目度）: 32.26598461917126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving resource efficiency while preserving end-user experience is non-trivial for cloud application operators. As cloud applications progressively adopt microservices, resource managers are faced with two distinct levels of system behavior: end-to-end application latency and per-service resource usage. Translating between the two levels, however, is challenging because user requests traverse heterogeneous services that collectively (but unevenly) contribute to the end-to-end latency. We present Autothrottle, a bi-level resource management framework for microservices with latency SLOs (service-level objectives). It architecturally decouples application SLO feedback from service resource control, and bridges them through the notion of performance targets. Specifically, an application-wide learning-based controller is employed to periodically set performance targets -- expressed as CPU throttle ratios -- for per-service heuristic controllers to attain. We evaluate Autothrottle on three microservice applications, with workload traces from production scenarios. Results show superior CPU savings, up to 26.21% over the best-performing baseline and up to 93.84% over all baselines.
• Abstract（参考訳）: エンドユーザーエクスペリエンスを維持しながらリソース効率を達成することは、クラウドアプリケーションオペレーターにとって非自明なことです。 クラウドアプリケーションがマイクロサービスを採用するにつれて、リソースマネージャは、エンドツーエンドのアプリケーションレイテンシとサービス単位のリソース使用という、2つの異なるレベルのシステム動作に直面します。 しかし、この2つのレベルの間の翻訳は、ユーザ要求が一括して(不均一に)エンドツーエンドのレイテンシに寄与する異種サービスを横断しているため、難しい。 レイテンシSLO(サービスレベルの目的)を備えたマイクロサービス用の双方向リソース管理フレームワークであるAutothrottleを紹介します。 アーキテクチャ上、SLOのフィードバックをサービスリソースコントロールから切り離し、パフォーマンス目標の概念を通じてそれらをブリッジします。 具体的には、アプリケーション全体の学習ベースのコントローラを使用して、サービス毎のヒューリスティックコントローラが達成するためのcpuスロットル比として表現されるパフォーマンスターゲットを定期的に設定する。 プロダクションシナリオからのワークロードトレースを備えた,3つのマイクロサービスアプリケーション上でAutothrottleを評価する。 その結果、最高性能のベースラインよりも最大26.21%、全ベースラインに対して最大93.84%のcpu節約が得られた。

関連論文リスト

• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• Asynchronous MultiAgent Reinforcement Learning for 5G Routing under Side Constraints [1.0732935873226022]
  本稿では,PPOエージェントが並列にルートを計画し,共有グローバルリソース環境にリソースデルタをコミットする非同期マルチエージェント強化学習フレームワークを提案する。 モントリオール市からのほぼリアルタイム交通データを用いて,O-RAN様ネットワークシミュレーションの手法の評価を行った。 AMARLはGoS(Gorge of Service)とエンドツーエンドのレイテンシを実現し、トレーニングウォールタイム時間を短縮し、需要シフトに対する堅牢性を向上させる。
  論文  参考訳（メタデータ） (2026-01-18T18:38:37Z)
• NanoCockpit: Performance-optimized Application Framework for AI-based Autonomous Nanorobotics [50.594459728605734]
  小型のフォームファクタ、すなわち10sグラムは、計算資源をSI100ミリワット以下のマイクロコントローラユニット(MCU)に著しく制限する。 本フレームワークは,タスクのシリアライズによるオーバーヘッドをゼロにすることで,クローズドループ制御性能の定量的改善を実現する。
  論文  参考訳（メタデータ） (2026-01-12T12:29:38Z)
• RollArt: Scaling Agentic RL Training via Disaggregated Infrastructure [49.88201789074532]
  エージェント強化学習(RL)は、大規模言語モデル(LLM)が自律的な意思決定と長期計画を行うことを可能にする。 分散インフラストラクチャ上でマルチタスクエージェントRLのスループットを最大化する分散システムであるRollArcを提案する。
  論文  参考訳（メタデータ） (2025-12-27T11:14:23Z)
• Astraea: A State-Aware Scheduling Engine for LLM-Powered Agents [12.884297990127985]
  Astraeaは、最適化をローカルセグメントからグローバルリクエストライフサイクルに移行するように設計されたサービスエンジンである。 これは、リクエストの履歴状態と将来の予測を統合する、ステートアウェアで階層的なスケジューリングアルゴリズムを採用している。 Astraea は平均 JCT を基準法に比べて 25.5% 削減する。
  論文  参考訳（メタデータ） (2025-12-16T06:55:10Z)
• SCUBA: Salesforce Computer Use Benchmark [63.66753028386581]
  SCUBAは、Salesforceプラットフォーム内の顧客関係管理(CRM)上のコンピュータ利用エージェントを評価するために設計されたベンチマークである。 SCUBAには、実際のユーザインタビューから派生した300のタスクインスタンスが含まれており、3つの主要なペルソナ、プラットフォーム管理者、セールス担当者、サービスエージェントで構成されている。 ゼロショット設定とデモ拡張設定の両方で、多様なエージェントのセットをベンチマークします。
  論文  参考訳（メタデータ） (2025-09-30T16:48:49Z)
• How to Train Your LLM Web Agent: A Statistical Diagnosis [102.04125085041473]
  LLMウェブエージェントのポストトレーニングにおける計算割当に関する統計学的基礎研究について述べる。 提案手法では,Llama 3.1 8Bの学生を対象に,教師付き微調整(SFT)とオンライン強化学習を用いて,Llama 3.3 70Bの教師を模倣する2段階のパイプラインを用いた。 以上の結果から,SFTとオンラインRLの組み合わせは,WorkArenaとMiniWob++のいずれにおいても,単独でのアプローチよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-07-05T17:12:33Z)
• ConsumerBench: Benchmarking Generative AI Applications on End-User Devices [6.6246058403368595]
  クラウドのみの環境からエンドユーザデバイスに移行したGenerative AI(GenAI)アプリケーションは、リソース管理、システム効率、ユーザエクスペリエンスにおいて、新たな課題をもたらしている。 本稿では,エンドユーザーデバイス上で動作するGenAIモデルのシステム効率と応答時間を評価するための総合的なベンチマークフレームワークであるConsumerBenchを提案する。
  論文  参考訳（メタデータ） (2025-06-21T01:32:22Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• STaleX: A Spatiotemporal-Aware Adaptive Auto-scaling Framework for Microservices [3.0846824529023382]
  本稿では,これらの課題に対処するための制御理論,機械学習,時相の組み合わせを提案する。 本稿では,機能を統合し,リアルタイムリソース調整を可能にする適応型自動スケーリングフレームワークSTXaleを提案する。 当社のフレームワークは、サービス仕様やサービス間の依存関係を含む機能に加えて、ワークロードの時間的変動も考慮しています。
  論文  参考訳（メタデータ） (2025-01-30T20:19:13Z)
• Distilling Multi-modal Large Language Models for Autonomous Driving [64.63127269187814]
  近年のエンド・ツー・エンドの自動運転システムは,大規模言語モデル(LLM)をプランナーとして活用し,レアイベントに対する一般化性を向上させる。 我々は,LLMの世界の知識を活用しつつ,LLMフリー(あるいはビジョンベース)プランナの効率を維持するエンド・ツー・エンドの自動運転システムであるDiMAを提案する。 DiMAを用いたトレーニングでは、L2軌道誤差が37%減少し、ビジョンベースプランナーの衝突速度が80%低下し、ロングテールシナリオでは44%軌道誤差が減少する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:53Z)
• FaaSRCA: Full Lifecycle Root Cause Analysis for Serverless Applications [9.14008416378655]
  FRCAは、サーバレスアプリケーションのための完全なライフサイクル根本原因分析手法である。 Global Call Graphを使用して、プラットフォームとアプリケーション側から生成されたマルチモーダル可観測データを統合する。 スコアに基づいて、サーバレス関数のライフサイクルステージの粒度の根本原因を決定する。
  論文  参考訳（メタデータ） (2024-12-03T08:06:29Z)
• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)
• ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
  ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。 我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
  論文  参考訳（メタデータ） (2024-10-02T04:12:13Z)
• A Learning-based Incentive Mechanism for Mobile AIGC Service in Decentralized Internet of Vehicles [49.86094523878003]
  モバイルAIGCサービスアロケーションのための分散インセンティブ機構を提案する。 我々は、AIGCサービスのRSUへの供給と、IoVコンテキスト内のサービスに対するユーザ要求のバランスを見つけるために、マルチエージェントの深層強化学習を採用している。
  論文  参考訳（メタデータ） (2024-03-29T12:46:07Z)
• RL-GPT: Integrating Reinforcement Learning and Code-as-policy [82.1804241891039]
  本稿では,低速エージェントと高速エージェントからなる2レベル階層型フレームワークRL-GPTを提案する。 遅いエージェントはコーディングに適したアクションを分析し、速いエージェントはコーディングタスクを実行する。 この分解は、各エージェントが特定のタスクに効果的に集中し、パイプライン内で非常に効率的なことを証明します。
  論文  参考訳（メタデータ） (2024-02-29T16:07:22Z)
• DeepScaler: Holistic Autoscaling for Microservices Based on Spatiotemporal GNN with Adaptive Graph Learning [4.128665560397244]
  本稿では,ディープラーニングに基づく総合的オートスケーリング手法であるDeepScalerを提案する。 サービスレベルの合意(SLA)とコスト効率を最適化するために、サービス依存関係に対処することに焦点を当てています。 実験により,本手法はマイクロサービスのより効率的な自動スケーリング機構を実装していることが示された。
  論文  参考訳（メタデータ） (2023-09-02T08:22:21Z)
• A Framework for dynamically meeting performance objectives on a service mesh [0.0]
  サービスメッシュ上で並列に実行される複数のサービスに対して,エンドツーエンドの管理目標を達成するためのフレームワークを提案する。 実資源に対して定期的に制御動作を行うエージェントの訓練に強化学習技術を適用した。
  論文  参考訳（メタデータ） (2023-06-25T09:08:41Z)
• Dynamically meeting performance objectives for multiple services on a service mesh [0.0]
  サービスプロバイダがさまざまな負荷下でエンドツーエンドの管理目標を達成するためのフレームワークを提案する。 サービス要求のエンドツーエンド遅延境界、スループット目標、サービス差別化など、さまざまな管理目標について検討する。 テストベッドではなくシミュレータ上で制御ポリシを計算し,学習プロセスを桁違いに高速化する。
  論文  参考訳（メタデータ） (2022-10-08T11:54:25Z)
• Reinforcement Learning-based Dynamic Service Placement in Vehicular Networks [4.010371060637208]
  さまざまなタイプのサービスの要求におけるトラフィックモビリティパターンとダイナミックスの複雑さは、サービスの配置を困難なタスクにしました。 トラフィックモビリティやサービスのダイナミクスを考慮していないため、典型的な静的配置ソリューションは効果的ではありません。 本稿では,エッジサーバに最適なサービス配置を見つけるために,強化学習に基づく動的(RL-Dynamic)サービス配置フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-31T15:01:35Z)
• Intelligent colocation of HPC workloads [0.0]
  多くのHPCアプリケーションは、共有キャッシュ、命令実行ユニット、I/O、メモリ帯域幅のボトルネックに苦しんでいる。 開発者やランタイムシステムにとって、すべての重要なリソースが単一のアプリケーションによって完全に悪用されることを保証するのは難しいため、魅力的なテクニックは、複数のアプリケーションを同じサーバに配置することです。 まず,ハードウェアの性能カウンタに基づいて,コロケーションされたアプリケーションの性能劣化をモデル化することにより,サーバ効率を向上できることを示す。
  論文  参考訳（メタデータ） (2021-03-16T12:35:35Z)
• Deep Learning-based Resource Allocation For Device-to-Device Communication [66.74874646973593]
  デバイス間通信(D2D)を用いたマルチチャネルセルシステムにおいて,リソース割り当ての最適化のためのフレームワークを提案する。 任意のチャネル条件に対する最適な資源配分戦略をディープニューラルネットワーク(DNN)モデルにより近似する深層学習(DL)フレームワークを提案する。 シミュレーションの結果,提案手法のリアルタイム性能を低速で実現できることが確認された。
  論文  参考訳（メタデータ） (2020-11-25T14:19:23Z)
• Pollux: Co-adaptive Cluster Scheduling for Goodput-Optimized Deep Learning [61.29990368322931]
  Polluxは、相互依存要因を適応的に最適化することで、ディープラーニング(DL)クラスタのスケジューリング性能を改善する。 Polluxは、最先端のDLスケジューラと比較して、平均的なジョブ完了時間を37-50%削減する。
  論文  参考訳（メタデータ） (2020-08-27T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。