論文の概要: Federated Multi-Agent Actor-Critic Learning for Age Sensitive Mobile
Edge Computing
- arxiv url: http://arxiv.org/abs/2012.14137v2
- Date: Wed, 6 Jan 2021 13:43:32 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-19 11:09:46.234226
- Title: Federated Multi-Agent Actor-Critic Learning for Age Sensitive Mobile
Edge Computing
- Title(参考訳): 年齢感性モバイルエッジコンピューティングのためのフェデレーションマルチエージェントアクタ・クリティカルラーニング
- Authors: Zheqi Zhu, Shuo Wan, Pingyi Fan, Khaled B. Letaief
- Abstract要約: モバイルエッジコンピューティング(MEC)は、さまざまな分散通信コンピューティングシステムのための新しい処理スキームを導入します。
年齢に敏感なMECモデルを定式化し、関心事の平均年齢(AoI)最小化問題を定式化する。
共同作業のパラダイムとして, ヘテロジニアス多エージェントアクタ批判(H-MAAC)と呼ばれる新しいポリシーに基づく多エージェント深層強化学習(RL)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 16.49587367235662
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As an emerging technique, mobile edge computing (MEC) introduces a new
processing scheme for various distributed communication-computing systems such
as industrial Internet of Things (IoT), vehicular communication, smart city,
etc. In this work, we mainly focus on the timeliness of the MEC systems where
the freshness of the data and computation tasks is significant. Firstly, we
formulate a kind of age-sensitive MEC models and define the average age of
information (AoI) minimization problems of interests. Then, a novel policy
based multi-agent deep reinforcement learning (RL) framework, called
heterogeneous multi-agent actor critic (H-MAAC), is proposed as a paradigm for
joint collaboration in the investigated MEC systems, where edge devices and
center controller learn the interactive strategies through their own
observations. To improves the system performance, we develop the corresponding
online algorithm by introducing an edge federated learning mode into the
multi-agent cooperation whose advantages on learning convergence can be
guaranteed theoretically. To the best of our knowledge, it's the first joint
MEC collaboration algorithm that combines the edge federated mode with the
multi-agent actor-critic reinforcement learning. Furthermore, we evaluate the
proposed approach and compare it with classical RL based methods. As a result,
the proposed framework not only outperforms the baseline on average system age,
but also promotes the stability of training process. Besides, the simulation
results provide some innovative perspectives for the system design under the
edge federated collaboration.
- Abstract(参考訳): 新たな技術として,モバイルエッジコンピューティング(MEC)では,IoT(Industrial Internet of Things)や車両通信,スマートシティなど,さまざまな分散通信計算システムを対象とした新たな処理方式が導入されている。
本研究は,データと計算タスクの鮮度が重要となるMECシステムのタイムラインに主眼を置いている。
まず、年齢に敏感なMECモデルを定式化し、関心事の平均年齢(AoI)最小化問題を定式化する。
そこで, ヘテロジニアス・マルチエージェント・アクター・アトラクション(H-MAAC)と呼ばれる新しいポリシーに基づくマルチエージェント・ディープ・強化学習(RL)フレームワークを, エッジデバイスとセンターコントローラが, それぞれの観察を通して対話的戦略を学習するMECシステムにおける共同作業のパラダイムとして提案する。
本研究では,学習収束の利点を理論的に保証できるマルチエージェント協調により,エッジフェデレーション学習モードを導入することにより,システム性能の向上を図る。
私たちの知る限りでは、エッジフェデレーションモードとマルチエージェントアクター批判強化学習を組み合わせた最初の共同MECコラボレーションアルゴリズムです。
さらに,提案手法を評価し,古典的rl法と比較する。
その結果,提案フレームワークはシステム平均年齢のベースラインを上回るだけでなく,トレーニングプロセスの安定性も向上することがわかった。
さらに、シミュレーションの結果は、エッジフェデレーションコラボレーションの下でのシステム設計に対する革新的な視点を提供する。
関連論文リスト
- Ensembling Prioritized Hybrid Policies for Multi-agent Pathfinding [20.29854058559947]
MARL(Multi-Agent Reinforcement Learning)をベースとしたMAPF(Multi-Agent Path Finding)が最近注目されている。
いくつかのMARL-MAPFメソッドは、あるエージェントが知覚できる情報を豊かにするためにコミュニケーションを使用する。
本稿では,通信ベースMAPFソルバの性能向上を図るために,EPH(Ensembling Prioritized Hybrid Policies)を提案する。
論文 参考訳(メタデータ) (2024-03-12T11:47:12Z) - Interactive Continual Learning: Fast and Slow Thinking [18.363276470822427]
本稿では,対話型連続学習(Interactive Continual Learning, ICL)フレームワークを提案する。
System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。
また、ハードサンプルを特定するために、von Mises-Fisher Outlier Detection and Interaction (vMF-ODI)戦略を導入する。
論文 参考訳(メタデータ) (2024-03-05T03:37:28Z) - Inverse Factorized Q-Learning for Cooperative Multi-agent Imitation
Learning [13.060023718506917]
模倣学習(英: mimicion learning, IL)は、協調型マルチエージェントシステムにおける実証から専門家の行動を模倣する学習の課題である。
本稿では,これらの課題に対処する新しいマルチエージェントILアルゴリズムを提案する。
本手法は,分散Q関数の集約に混在するネットワークを活用することで,集中学習を実現する。
論文 参考訳(メタデータ) (2023-10-10T17:11:20Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳(メタデータ) (2021-07-08T18:01:02Z) - Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with
Heterogeneous Learning Tasks [53.1636151439562]
モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。
再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。
具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
論文 参考訳(メタデータ) (2020-12-25T07:08:50Z) - Toward Multiple Federated Learning Services Resource Sharing in Mobile
Edge Networks [88.15736037284408]
本稿では,マルチアクセスエッジコンピューティングサーバにおいて,複数のフェデレーション付き学習サービスの新たなモデルについて検討する。
共同資源最適化とハイパーラーニング率制御の問題,すなわちMS-FEDLを提案する。
シミュレーションの結果,提案アルゴリズムの収束性能を実証した。
論文 参考訳(メタデータ) (2020-11-25T01:29:41Z) - Deep Multi-Task Learning for Cooperative NOMA: System Design and
Principles [52.79089414630366]
我々は,近年のディープラーニング(DL)の進歩を反映した,新しいディープ・コラボレーティブなNOMAスキームを開発する。
我々は,システム全体を包括的に最適化できるように,新しいハイブリッドカスケードディープニューラルネットワーク(DNN)アーキテクチャを開発した。
論文 参考訳(メタデータ) (2020-07-27T12:38:37Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z) - Monotonic Value Function Factorisation for Deep Multi-Agent
Reinforcement Learning [55.20040781688844]
QMIXは、中央集権的なエンドツーエンドで分散ポリシーをトレーニングできる新しい価値ベースの手法である。
深層多エージェント強化学習のための新しいベンチマークとして,StarCraft Multi-Agent Challenge (SMAC)を提案する。
論文 参考訳(メタデータ) (2020-03-19T16:51:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。