論文の概要: Queue-Learning: A Reinforcement Learning Approach for Providing Quality
of Service
- arxiv url: http://arxiv.org/abs/2101.04627v1
- Date: Tue, 12 Jan 2021 17:28:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-04 01:48:11.013505
- Title: Queue-Learning: A Reinforcement Learning Approach for Providing Quality
of Service
- Title(参考訳): Queue-Learning: サービス品質提供のための強化学習アプローチ
- Authors: Majid Raeis, Ali Tizghadam, Alberto Leon-Garcia
- Abstract要約: servicerate controlは、サービスシステムにおける保証を提供する共通のメカニズムである。
本稿では,強化学習ベース(rlベース)サービスレートコントローラを提案する。
当社のコントローラは、システムのエンドツーエンドの遅延に関する明示的な確率的保証を提供します。
- 参考スコア(独自算出の注目度): 1.8477401359673706
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: End-to-end delay is a critical attribute of quality of service (QoS) in
application domains such as cloud computing and computer networks. This metric
is particularly important in tandem service systems, where the end-to-end
service is provided through a chain of services. Service-rate control is a
common mechanism for providing QoS guarantees in service systems. In this
paper, we introduce a reinforcement learning-based (RL-based) service-rate
controller that provides probabilistic upper-bounds on the end-to-end delay of
the system, while preventing the overuse of service resources. In order to have
a general framework, we use queueing theory to model the service systems.
However, we adopt an RL-based approach to avoid the limitations of
queueing-theoretic methods. In particular, we use Deep Deterministic Policy
Gradient (DDPG) to learn the service rates (action) as a function of the queue
lengths (state) in tandem service systems. In contrast to existing RL-based
methods that quantify their performance by the achieved overall reward, which
could be hard to interpret or even misleading, our proposed controller provides
explicit probabilistic guarantees on the end-to-end delay of the system. The
evaluations are presented for a tandem queueing system with non-exponential
inter-arrival and service times, the results of which validate our controller's
capability in meeting QoS constraints.
- Abstract(参考訳): エンドツーエンドの遅延は、クラウドコンピューティングやコンピュータネットワークなどのアプリケーションドメインにおけるQoS(Quality of Service)の重要な特性である。
このメトリクスは、エンドツーエンドサービスがサービスチェーンを介して提供される、タンデムサービスシステムにおいて特に重要です。
サービスレート制御は、サービスシステムにおいてqos保証を提供する共通のメカニズムである。
本稿では、サービスリソースの過剰使用を防止しつつ、システムのエンドツーエンド遅延に対する確率的上限を提供する強化学習ベース(RLベース)サービスレートコントローラを提案する。
一般的なフレームワークを得るために、私たちはキュー理論を使ってサービスシステムをモデル化します。
しかし、待ち行列理論の制限を避けるためにrlベースのアプローチを採用する。
特に、Deep Deterministic Policy Gradient(DDPG)を使用して、タンデムサービスシステムのキュー長(状態)の関数として、サービスレート(アクション)を学習します。
システム全体の報酬によって性能を定量化する既存のrlベースの手法とは対照的に,提案するコントローラはシステムのエンド・ツー・エンドの遅延に対する明示的な確率的保証を提供する。
qosの制約を満たしたコントローラの能力を検証した,非指数的相互接続およびサービス時間を有するタンデム待ち行列システムについて評価を行った。
関連論文リスト
- SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。
過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。
提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
論文 参考訳(メタデータ) (2024-08-15T17:50:07Z) - TranDRL: A Transformer-Driven Deep Reinforcement Learning Enabled Prescriptive Maintenance Framework [58.474610046294856]
産業システムは、運用効率を高め、ダウンタイムを減らすための信頼性の高い予測保守戦略を要求する。
本稿では,Transformerモデルに基づくニューラルネットワークと深部強化学習(DRL)アルゴリズムの機能を活用し,システムの保守動作を最適化する統合フレームワークを提案する。
論文 参考訳(メタデータ) (2023-09-29T02:27:54Z) - Understanding Container-based Services under Software Aging:
Dependability and Performance Views [5.2135218089240185]
コンテナベースのサービスの性能を最大化または最小化できる最適なcon-tainer-migrationトリガ間隔を示す。
本稿では,OSレジューベーションがcon-tainerベースのサービスの信頼性と性能に与える影響を定量的に評価するための,半マルコフに基づく包括的アプローチを提案する。
論文 参考訳(メタデータ) (2023-08-24T13:40:26Z) - Quantifying the Cost of Learning in Queueing Systems [4.784875233446591]
待ち行列における学習コスト (CLQ) はパラメータの不確実性に起因する平均待ち行列長の最大増加を定量化する新しい指標である。
本稿では,Lyapunov と Bandit 分析をブリッジし,幅広いアルゴリズムの保証を提供するCLQ の統一解析フレームワークを提案する。
論文 参考訳(メタデータ) (2023-08-15T14:50:12Z) - Differentially Private Deep Q-Learning for Pattern Privacy Preservation
in MEC Offloading [76.0572817182483]
攻撃者は、エッジサーバ(ES)のキュー情報とユーザの使用パターンを推測するために、オフロードの決定を盗み取ることができる。
パターンプライバシ(PP)を維持しつつ,レイテンシ,ESのエネルギー消費,タスク削減率を両立させるオフロード戦略を提案する。
そこで我々はDP-DQOアルゴリズムを開発し,PP問題にノイズを注入することでこの問題に対処する。
論文 参考訳(メタデータ) (2023-02-09T12:50:18Z) - Learning Mean-Field Control for Delayed Information Load Balancing in
Large Queuing Systems [26.405495663998828]
本研究では,多くのクライアント(ロードバランサ)と多数の並列キューで構成される遅延情報を備えたマルチエージェントロードバランシングシステムについて考察する。
我々は、最適負荷分散ソリューションを見つけるためにポリシー勾配強化学習アルゴリズムを適用した。
我々のアプローチはスケーラブルだが、Join-the-Shortest-Queue (JSQ)の最先端のパワー・オブ・ド・バリアントと比較すると、優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2022-08-09T13:47:19Z) - Learning a Discrete Set of Optimal Allocation Rules in a Queueing System
with Unknown Service Rate [1.4094389874355762]
入場率とサービス率の不明なシステムの入場制御について検討する。
私たちのモデルでは、ジョブが到着するたびに、ディスペンサーがジョブを利用可能なサーバに割り当てるか、ブロックするかを決めます。
我々の目標は、ディスパッチの長期平均報酬を最大化するディスパッチポリシーを設計することです。
論文 参考訳(メタデータ) (2022-02-04T22:39:03Z) - Better than the Best: Gradient-based Improper Reinforcement Learning for
Network Scheduling [60.48359567964899]
パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。
我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
論文 参考訳(メタデータ) (2021-05-01T10:18:34Z) - Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud
System [54.588242387136376]
エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。
まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。
次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。
第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
論文 参考訳(メタデータ) (2021-01-17T03:45:25Z) - Reinforcement Learning-based Admission Control in Delay-sensitive
Service Systems [10.089520556398574]
本稿では,サービスシステムのエンド・ツー・エンド遅延に対する確率的上界を保証する強化学習型入場制御器を提案する。
我々のコントローラは、ネットワークのキュー長情報を使用し、ネットワークトポロジやシステムパラメータに関する知識を必要としない。
論文 参考訳(メタデータ) (2020-08-21T17:33:55Z) - Certified Reinforcement Learning with Logic Guidance [78.2286146954051]
線形時間論理(LTL)を用いて未知の連続状態/動作マルコフ決定過程(MDP)のゴールを定式化できるモデルフリーなRLアルゴリズムを提案する。
このアルゴリズムは、トレースが仕様を最大確率で満たす制御ポリシーを合成することが保証される。
論文 参考訳(メタデータ) (2019-02-02T20:09:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。