論文の概要: Asynchronous Fractional Multi-Agent Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing

• arxiv url: http://arxiv.org/abs/2409.16832v4
• Date: Sat, 18 Jan 2025 13:20:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:14:54.845210
• Title: Asynchronous Fractional Multi-Agent Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing
• Title（参考訳）: Asynchronous Fractional Multi-Agent Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing
• Authors: Lyudong Jin, Ming Tang, Jiayu Pan, Meng Zhang, Hao Wang,
• Abstract要約: 計算集約的な更新のタイムラインを調査し、AoIを最小化するためにタスク更新とオフロードポリシーを共同で最適化する。 具体的には、エッジ負荷のダイナミクスを考慮し、期待時間平均AoIを最小化するためにタスクスケジューリング問題を定式化する。 提案アルゴリズムは,実験における最良基準アルゴリズムと比較して平均AoIを最大52.6%削減する。
• 参考スコア（独自算出の注目度）: 14.260646140460187
• License:
• Abstract: In the realm of emerging real-time networked applications like cyber-physical systems (CPS), the Age of Information (AoI) has merged as a pivotal metric for evaluating the timeliness. To meet the high computational demands, such as those in intelligent manufacturing within CPS, mobile edge computing (MEC) presents a promising solution for optimizing computing and reducing AoI. In this work, we study the timeliness of computational-intensive updates and explores jointly optimize the task updating and offloading policies to minimize AoI. Specifically, we consider edge load dynamics and formulate a task scheduling problem to minimize the expected time-average AoI. The fractional objective introduced by AoI and the semi-Markov game nature of the problem render this challenge particularly difficult, with existing approaches not directly applicable. To this end, we present a comprehensive framework to fractional reinforcement learning (RL). We first introduce a fractional single-agent RL framework and prove its linear convergence. We then extend this to a fractional multi-agent RL framework with a convergence analysis. To tackle the challenge of asynchronous control in semi-Markov game, we further design an asynchronous model-free fractional multi-agent RL algorithm, where each device makes scheduling decisions with the hybrid action space without knowing the system dynamics and decisions of other devices. Experimental results show that our proposed algorithms reduce the average AoI by up to 52.6% compared with the best baseline algorithm in our experiments.
• Abstract（参考訳）: サイバー物理システム(CPS)のような新興のリアルタイムネットワークアプリケーションにおいて、Age of Information(AoI)は、タイムラインを評価するための重要な指標として統合されている。 CPS内のインテリジェントな製造などの高い計算要求を満たすため、モバイルエッジコンピューティング(MEC)は、コンピューティングの最適化とAoIの削減に有望なソリューションを提供する。 本研究では,計算集約的な更新のタイムラインを調査し,AoIの最小化のためにタスクの更新とオフロードを共同で最適化する。 具体的には、エッジ負荷のダイナミクスを考慮し、期待時間平均AoIを最小化するためにタスクスケジューリング問題を定式化する。 AoIによって導入された分数目的と、この問題の半マルコフゲームの性質は、既存のアプローチが直接適用されないため、この問題を特に困難にしている。 この目的のために,分数強化学習(RL)のための包括的枠組みを提案する。 まず、分数単エージェントRLフレームワークを導入し、その線形収束を証明した。 次に、収束解析を用いて、これを分数的マルチエージェントRLフレームワークに拡張する。 セミマルコフゲームにおける非同期制御の課題に対処するため、非同期モデルのない分数化マルチエージェントRLアルゴリズムを設計し、各デバイスが他のデバイスのシステムダイナミクスや決定を知らずに、ハイブリッドアクション空間でスケジューリング決定を行う。 実験結果から,提案アルゴリズムは実験における最良ベースラインアルゴリズムと比較して平均AoIを最大52.6%削減することを示した。

関連論文リスト

• Split Federated Learning Over Heterogeneous Edge Devices: Algorithm and Optimization [7.013344179232109]
  Split Learning(SL)は、リソース制約のあるデバイスが生データを共有せずにモデルをトレーニングできるようにする、有望なコラボレーティブ機械学習アプローチである。 現在のSLアルゴリズムは、トレーニング効率の限界に直面し、長時間のレイテンシに悩まされている。 本稿では、リソース制約のあるクライアントが、パーソナライズされたクライアントサイドモデルを並列にトレーニングできる、異種分散フェデレーションラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-21T07:46:01Z)
• Exploring Multi-Agent Reinforcement Learning for Unrelated Parallel Machine Scheduling [2.3034630097498883]
  本研究は,強化学習環境を紹介し,実証分析を行う。 実験では、シングルエージェントとマルチエージェントアプローチにさまざまなディープニューラルネットワークポリシーを採用している。 シングルエージェントアルゴリズムは縮小シナリオにおいて適切に機能する一方、マルチエージェントアプローチは協調学習における課題を明らかにするが、スケーラブルな能力を示す。
  論文  参考訳（メタデータ） (2024-11-12T08:27:27Z)
• Fractional Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing [11.403989519949173]
  本研究は,AOI( Age-of-Information)によって測定された計算集約更新の時系列に焦点をあてる。 我々は,AoIのタスク更新とオフロードポリシを分断形式で共同で最適化する方法について検討する。 実験の結果,提案アルゴリズムは,いくつかの非フラクタルベンチマークと比較して平均AoIを57.6%削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T11:13:40Z)
• Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement Learning Approach [58.911515417156174]
  我々は情報時代(AoI)の新たな定義を提案し、再定義されたAoIに基づいて、MECシステムにおけるオンラインAoI問題を定式化する。 本稿では,システム力学の部分的知識を活用するために,PDS(Post-Decision State)を導入する。 また、PSDと深いRLを組み合わせることで、アルゴリズムの適用性、スケーラビリティ、堅牢性をさらに向上します。
  論文  参考訳（メタデータ） (2023-12-01T01:30:49Z)
• Multi-Agent Reinforcement Learning for Long-Term Network Resource Allocation through Auction: a V2X Application [7.326507804995567]
  我々は,自律エージェント間の分散意思決定として,移動エージェントの動的グループ(自動車など)からの計算タスクのオフロードを定式化する。 我々は、競争と協力のバランスをとることで、そのようなエージェントにプライベートとシステム目標の整合を動機付けるインタラクションメカニズムを設計する。 本稿では,部分的,遅延,ノイズの多い状態情報を用いて学習する,新しいマルチエージェントオンライン学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-29T10:29:06Z)
• Collaborative Intelligent Reflecting Surface Networks with Multi-Agent Reinforcement Learning [63.83425382922157]
  インテリジェント・リフレクション・サーフェス(IRS)は将来の無線ネットワークに広く応用されることが想定されている。 本稿では,エネルギー収穫能力を備えた協調型IRSデバイスを用いたマルチユーザ通信システムについて検討する。
  論文  参考訳（メタデータ） (2022-03-26T20:37:14Z)
• Adaptive Stochastic ADMM for Decentralized Reinforcement Learning in Edge Industrial IoT [106.83952081124195]
  強化学習 (Reinforcement Learning, RL) は, 意思決定および最適制御プロセスのための有望な解法として広く研究されている。 本稿では,Adaptive ADMM (asI-ADMM)アルゴリズムを提案する。 実験の結果,提案アルゴリズムは通信コストやスケーラビリティの観点から技術状況よりも優れており,複雑なIoT環境に適応できることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T16:49:07Z)
• Edge Federated Learning Via Unit-Modulus Over-The-Air Computation (Extended Version) [64.76619508293966]
  本稿では,効率の良いエッジフェデレーション学習を実現するために,UM-AirCompフレームワークを提案する。 ローカルモデルパラメータを同時にアップロードし、アナログビームフォーミングを通じてグローバルモデルパラメータを更新する。 車両間自動運転シミュレーションプラットフォームにおけるUM-AirCompの実装を実演する。
  論文  参考訳（メタデータ） (2021-01-28T15:10:22Z)
• Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge Computing [113.52575069030192]
  セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。 通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。 分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。 分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
  論文  参考訳（メタデータ） (2020-10-02T10:41:59Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。