論文の概要: Reinforcement Learning on Computational Resource Allocation of
Cloud-based Wireless Networks
- arxiv url: http://arxiv.org/abs/2010.05024v1
- Date: Sat, 10 Oct 2020 15:16:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:35:43.146774
- Title: Reinforcement Learning on Computational Resource Allocation of
Cloud-based Wireless Networks
- Title(参考訳): クラウドベース無線ネットワークの計算資源配分に関する強化学習
- Authors: Beiran Chen, Yi Zhang, George Iosifidis, Mingming Liu
- Abstract要約: IoT(Internet of Things)に使用される無線ネットワークには、主にクラウドベースのコンピューティングと処理が関与することが期待されている。
クラウド環境では、プロセスのパフォーマンスを維持しながらエネルギーを節約するために、動的計算資源割り当てが不可欠である。
本稿では、この動的計算資源割当問題をマルコフ決定プロセス(MDP)にモデル化し、CPU使用量の動的リソース割当を最適化するためのモデルベース強化学習エージェントを設計する。
その結果, エージェントは最適方針に迅速に収束し, 異なる設定で安定して動作し, 性能が良く, あるいは少なくとも等しく動作し, 異なるシナリオでの省エネにおけるベースラインアルゴリズムと比較した。
- 参考スコア(独自算出の注目度): 22.06811314358283
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Wireless networks used for Internet of Things (IoT) are expected to largely
involve cloud-based computing and processing. Softwarised and centralised
signal processing and network switching in the cloud enables flexible network
control and management. In a cloud environment, dynamic computational resource
allocation is essential to save energy while maintaining the performance of the
processes. The stochastic features of the Central Processing Unit (CPU) load
variation as well as the possible complex parallelisation situations of the
cloud processes makes the dynamic resource allocation an interesting research
challenge. This paper models this dynamic computational resource allocation
problem into a Markov Decision Process (MDP) and designs a model-based
reinforcement-learning agent to optimise the dynamic resource allocation of the
CPU usage. Value iteration method is used for the reinforcement-learning agent
to pick up the optimal policy during the MDP. To evaluate our performance we
analyse two types of processes that can be used in the cloud-based IoT networks
with different levels of parallelisation capabilities, i.e., Software-Defined
Radio (SDR) and Software-Defined Networking (SDN). The results show that our
agent rapidly converges to the optimal policy, stably performs in different
parameter settings, outperforms or at least equally performs compared to a
baseline algorithm in energy savings for different scenarios.
- Abstract(参考訳): IoT(Internet of Things)に使用される無線ネットワークには、主にクラウドベースのコンピューティングと処理が関与することが期待されている。
クラウド上での信号処理とネットワーク切り替えは、柔軟なネットワーク制御と管理を可能にする。
クラウド環境では、プロセスのパフォーマンスを維持しながらエネルギーを節約するために動的計算資源割当が不可欠である。
中央処理ユニット(cpu)の負荷変動の確率的特徴とクラウドプロセスの複雑な並列化状況は、動的リソース割り当てを興味深い研究課題にしている。
本稿では,この動的計算資源割当問題をマルコフ決定プロセス(mdp)にモデル化し,cpu使用量の動的資源割当を最適化するモデルベース強化学習エージェントを設計する。
強化学習エージェントは,MDPにおける最適ポリシーを抽出するために,値反復法を用いる。
パフォーマンスを評価するために、さまざまなレベルの並列化機能を備えたクラウドベースのiotネットワーク、すなわちsoftware-defined radio(sdr)とsoftware-defined networking(sdn)で使用できる2つのプロセスを分析します。
その結果, エージェントは最適条件に迅速に収束し, 異なるパラメータ設定, 性能, あるいは少なくとも等しく動作し, 異なるシナリオの省エネにおけるベースラインアルゴリズムと比較できることがわかった。
関連論文リスト
- A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical
Computation Offloading [62.34538208323411]
共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。
MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
論文 参考訳(メタデータ) (2023-09-02T11:01:16Z) - Lyapunov-Driven Deep Reinforcement Learning for Edge Inference Empowered
by Reconfigurable Intelligent Surfaces [30.1512069754603]
本稿では,ワイヤレスエッジにおけるエネルギー効率,低レイテンシ,高精度な推論のための新しいアルゴリズムを提案する。
本稿では,新しいデータを一連のデバイスで連続的に生成・収集し,動的キューシステムを通じて処理するシナリオについて考察する。
論文 参考訳(メタデータ) (2023-05-18T12:46:42Z) - Reinforcement Learning in Computing and Network Convergence
Orchestration [0.0]
CNC(Computer and Network Convergence)の概念が提案され、広く注目を集めている。
最初の試みである強化学習(RL)を用いたCNCオーケストレーション手法を設計し、コンピュータリソースやネットワークリソースを柔軟に割り当て、スケジュールすることができる。
実験により, 提案手法は, グレーディ法, ランダム選択法, 平衡資源法よりも高い利益率と低レイテンシを実現することができることがわかった。
論文 参考訳(メタデータ) (2022-09-22T03:10:45Z) - State-Augmented Learnable Algorithms for Resource Management in Wireless
Networks [124.89036526192268]
本稿では,無線ネットワークにおける資源管理問題を解決するためのステート拡張アルゴリズムを提案する。
提案アルゴリズムは, RRM決定を可能, ほぼ最適に行うことができることを示す。
論文 参考訳(メタデータ) (2022-07-05T18:02:54Z) - Collaborative Intelligent Reflecting Surface Networks with Multi-Agent
Reinforcement Learning [63.83425382922157]
インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。
本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
論文 参考訳(メタデータ) (2022-03-26T20:37:14Z) - Learning to Continuously Optimize Wireless Resource in a Dynamic
Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。
学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。
我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文 参考訳(メタデータ) (2021-05-03T07:23:39Z) - Reinforcement Learning for Datacenter Congestion Control [50.225885814524304]
渋滞制御アルゴリズムの成功は、レイテンシとネットワーク全体のスループットを劇的に改善する。
今日まで、このような学習ベースのアルゴリズムはこの領域で実用的な可能性を示さなかった。
実世界のデータセンターネットワークの様々な構成に一般化することを目的としたRLに基づくアルゴリズムを考案する。
本稿では,この手法が他のRL手法よりも優れており,トレーニング中に見られなかったシナリオに一般化可能であることを示す。
論文 参考訳(メタデータ) (2021-02-18T13:49:28Z) - Edge Intelligence for Energy-efficient Computation Offloading and
Resource Allocation in 5G Beyond [7.953533529450216]
さらに5Gは、エッジデバイス、エッジサーバ、クラウドの異種機能を活用可能な、エッジクラウドオーケストレーションネットワークである。
マルチユーザ無線ネットワークでは、多様なアプリケーション要件とデバイス間の通信のための様々な無線アクセスモードの可能性により、最適な計算オフロード方式の設計が困難になる。
深層強化学習(Dep Reinforcement Learning, DRL)は、そのような問題に限定的で精度の低いネットワーク情報で対処する新興技術である。
論文 参考訳(メタデータ) (2020-11-17T05:51:03Z) - Dynamic Scheduling for Stochastic Edge-Cloud Computing Environments
using A3C learning and Residual Recurrent Neural Networks [30.61220416710614]
A-Advantage-Actor-Critic(A3C)学習は、データが少ない動的なシナリオに迅速に適応することが知られ、Residual Recurrent Neural Network(R2N2)はモデルパラメータを迅速に更新する。
我々はR2N2アーキテクチャを用いて、多数のホストパラメータとタスクパラメータを時間パターンとともにキャプチャし、効率的なスケジューリング決定を提供する。
実世界のデータセットで実施された実験では、エネルギー消費、応答時間、ServiceLevelAgreementおよびランニングコストがそれぞれ14.4%、7.74%、31.9%、および4.64%で大幅に改善された。
論文 参考訳(メタデータ) (2020-09-01T13:36:34Z) - Caching Placement and Resource Allocation for Cache-Enabling UAV NOMA
Networks [87.6031308969681]
本稿では,非直交多重アクセス(NOMA)をサポートした大規模アクセス機能を有する無人航空機(UAV)セルネットワークについて検討する。
コンテンツ配信遅延最小化のための長期キャッシュ配置と資源配分最適化問題をマルコフ決定プロセス(MDP)として定式化する。
そこで我々は,UAVがemphsoft $varepsilon$-greedy戦略を用いて行動の学習と選択を行い,行動と状態の最適な一致を探索する,Qラーニングに基づくキャッシュ配置とリソース割り当てアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-08-12T08:33:51Z) - AI-based Resource Allocation: Reinforcement Learning for Adaptive
Auto-scaling in Serverless Environments [0.0]
近年、サーバーレスコンピューティングはクラウドコンピューティングモデルの魅力的な新しいパラダイムとして現れています。
商用およびオープンソースのサーバレスコンピューティングプラットフォームに共通するアプローチは、ワークロードベースの自動スケーリングである。
本稿では、サーバーレスフレームワークにおける要求ベース自動スケーリングに対する強化学習アプローチの適用性について検討する。
論文 参考訳(メタデータ) (2020-05-29T06:18:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。