論文の概要: Age of Information Aware VNF Scheduling in Industrial IoT Using Deep
Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2105.04207v1
- Date: Mon, 10 May 2021 09:04:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 22:07:33.641738
- Title: Age of Information Aware VNF Scheduling in Industrial IoT Using Deep
Reinforcement Learning
- Title(参考訳): 深層強化学習を用いた産業用IoTにおけるVNFスケジューリング
- Authors: Mohammad Akbari, Mohammad Reza Abedi, Roghayeh Joda, Mohsen
Pourghasemian, Nader Mokari, and Melike Erol-Kantarci
- Abstract要約: 深部強化学習(DRL)はそのような問題を解決するための有効な方法として現れている。
本論文では, 単一エージェントの低複素複素アクションアクター-クリティカルRLを用いて離散的および連続的なアクションの両方をカバーする。
その後、エージェントが互いに協力するマルチエージェントDRLスキームにソリューションを拡張します。
- 参考スコア(独自算出の注目度): 9.780232937571599
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In delay-sensitive industrial internet of things (IIoT) applications, the age
of information (AoI) is employed to characterize the freshness of information.
Meanwhile, the emerging network function virtualization provides flexibility
and agility for service providers to deliver a given network service using a
sequence of virtual network functions (VNFs). However, suitable VNF placement
and scheduling in these schemes is NP-hard and finding a globally optimal
solution by traditional approaches is complex. Recently, deep reinforcement
learning (DRL) has appeared as a viable way to solve such problems. In this
paper, we first utilize single agent low-complex compound action actor-critic
RL to cover both discrete and continuous actions and jointly minimize VNF cost
and AoI in terms of network resources under end-to end Quality of Service
constraints. To surmount the single-agent capacity limitation for learning, we
then extend our solution to a multi-agent DRL scheme in which agents
collaborate with each other. Simulation results demonstrate that single-agent
schemes significantly outperform the greedy algorithm in terms of average
network cost and AoI. Moreover, multi-agent solution decreases the average cost
by dividing the tasks between the agents. However, it needs more iterations to
be learned due to the requirement on the agents collaboration.
- Abstract(参考訳): 遅延に敏感な産業用モノのインターネット(IIoT)アプリケーションでは、情報の鮮度を特徴付けるために情報時代(AoI)が使用される。
一方、新たなネットワーク機能仮想化は、サービスプロバイダが仮想ネットワーク機能(vnfs)のシーケンスを使用して、所定のネットワークサービスを配信する柔軟性と俊敏性を提供します。
しかしながら、これらのスキームにおける適切なvnf配置とスケジューリングはnpハードであり、伝統的なアプローチによるグローバル最適解を見つけることは複雑である。
近年, 深層強化学習 (DRL) が課題解決の有効な方法として現れている。
本稿では、まず、単一エージェントの低コンプレックスなアクションアクタークリティカルRLを用いて、離散的かつ連続的なアクションの両方をカバーし、サービス品質制約下でのネットワークリソースの観点からVNFコストとAoIを両立させる。
学習のための単一エージェント容量制限を克服するため、エージェントが互いに協調するマルチエージェントDRLスキームにソリューションを拡張します。
シミュレーションの結果、シングルエージェント方式は平均ネットワークコストとAoIでグリーディアルゴリズムを著しく上回ることがわかった。
さらに, エージェント間のタスク分割により, マルチエージェントソリューションの平均コストを低減させる。
しかし、エージェントのコラボレーションの必要性から学ぶには、より多くのイテレーションが必要です。
関連論文リスト
- Inter-Cell Network Slicing With Transfer Learning Empowered Multi-Agent
Deep Reinforcement Learning [6.523367518762879]
ネットワークスライシングにより、オペレータは共通の物理インフラ上で多様なアプリケーションを効率的にサポートできる。
ネットワーク展開の恒常的に増大する密度化は、複雑で非自明な細胞間干渉を引き起こす。
複数の深層強化学習(DRL)エージェントを用いたDIRPアルゴリズムを開発し,各セルの資源分配を協調的に最適化する。
論文 参考訳(メタデータ) (2023-06-20T14:14:59Z) - RHFedMTL: Resource-Aware Hierarchical Federated Multi-Task Learning [11.329273673732217]
フェデレーション学習は、セキュリティを備えた大規模な分散ノード上でAIを可能にする効果的な方法である。
複数の基地局(BS)と端末をまたいだマルチタスク学習を維持しながら、プライバシを確保することは困難である。
本稿では, セルラーワークの自然雲-BS-末端階層に着想を得て, 資源を考慮した階層型MTL (RHFedMTL) ソリューションを提案する。
論文 参考訳(メタデータ) (2023-06-01T13:49:55Z) - MARLIN: Soft Actor-Critic based Reinforcement Learning for Congestion
Control in Real Networks [63.24965775030673]
そこで本研究では,汎用的な渋滞制御(CC)アルゴリズムを設計するための新しい強化学習(RL)手法を提案する。
我々の解であるMARLINは、Soft Actor-Criticアルゴリズムを用いてエントロピーとリターンの両方を最大化する。
我々は,MARLINを実ネットワーク上で訓練し,実ミスマッチを克服した。
論文 参考訳(メタデータ) (2023-02-02T18:27:20Z) - Distributed-Training-and-Execution Multi-Agent Reinforcement Learning
for Power Control in HetNet [48.96004919910818]
We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。
エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。
このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
論文 参考訳(メタデータ) (2022-12-15T17:01:56Z) - Artificial Intelligence Empowered Multiple Access for Ultra Reliable and
Low Latency THz Wireless Networks [76.89730672544216]
テラヘルツ(THz)無線ネットワークは、第5世代(B5G)以上の時代を触媒すると予想されている。
いくつかのB5Gアプリケーションの超信頼性と低レイテンシ要求を満たすためには、新しいモビリティ管理アプローチが必要である。
本稿では、インテリジェントなユーザアソシエーションとリソースアロケーションを実現するとともに、フレキシブルで適応的なモビリティ管理を可能にする、全体論的MAC層アプローチを提案する。
論文 参考訳(メタデータ) (2022-08-17T03:00:24Z) - Multi-Agent Reinforcement Learning for Long-Term Network Resource
Allocation through Auction: a V2X Application [7.326507804995567]
我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。
我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。
本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-29T10:29:06Z) - Semantic-Aware Collaborative Deep Reinforcement Learning Over Wireless
Cellular Networks [82.02891936174221]
複数のエージェントが無線ネットワーク上で協調できるコラボレーティブディープ強化学習(CDRL)アルゴリズムは有望なアプローチである。
本稿では,リソース制約のある無線セルネットワーク上で,意味的にリンクされたDRLタスクを持つ未学習エージェントのグループを効率的に協調させる,新しい意味認識型CDRL手法を提案する。
論文 参考訳(メタデータ) (2021-11-23T18:24:47Z) - Contingency-Aware Influence Maximization: A Reinforcement Learning
Approach [52.109536198330126]
インフルエンス(IM)問題は、インフルエンスの普及を最大化する、ソーシャルネットワーク内のシードノードのサブセットを見つけることを目的としている。
本研究では、招待されたノードがシードであるかどうかが不確実なIM問題(contingency-aware IM)に焦点をあてる。
最初の成功にもかかわらず、より多くのコミュニティへのソリューションの推進における大きな実践上の障害は、欲張りのアルゴリズムの巨大な実行時である。
論文 参考訳(メタデータ) (2021-06-13T16:42:22Z) - Federated Double Deep Q-learning for Joint Delay and Energy Minimization
in IoT networks [12.599009485247283]
本稿では,多目的最適化問題の解法として,連合型深層強化学習フレームワークを提案する。
各エピソードの最後に,IoTデバイス(エージェント)の学習速度を高めるために,フェデレーション学習(FDL)を取り入れた。
提案するDDQNフレームワークの有効性を,学習速度の観点から検証した。
論文 参考訳(メタデータ) (2021-04-02T18:41:59Z) - Information Freshness-Aware Task Offloading in Air-Ground Integrated
Edge Computing Systems [49.80033982995667]
本稿では,空域統合マルチアクセスエッジコンピューティングシステムにおける情報更新性を考慮したタスクオフロードの問題について検討する。
サードパーティのリアルタイムアプリケーションサービスプロバイダは、InPからの限られた通信と計算リソースで、加入したモバイルユーザ(MU)にコンピューティングサービスを提供する。
本稿では,各MUに2つの個別の深度Q-networksを適用し,Q-factorと後Q-factorを近似する新しい深度強化学習手法を提案する。
論文 参考訳(メタデータ) (2020-07-15T21:32:43Z) - Machine Learning for Performance-Aware Virtual Network Function
Placement [3.5558885788605323]
サービス機能チェーン(SFC)を形成する仮想ネットワーク機能インスタンスの効率的な配置から学習する機械学習決定ツリーモデルを開発する。
このモデルは入力としてネットワークからいくつかのパフォーマンス関連の特徴を取り、依存するVNFインスタンス間の遅延を最小限に抑える目的で、ネットワークサーバ上の様々なVNFインスタンスの配置を選択する。
論文 参考訳(メタデータ) (2020-01-13T14:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。