論文の概要: Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement Learning Approach

• arxiv url: http://arxiv.org/abs/2312.00279v2
• Date: Fri, 23 Feb 2024 01:55:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-26 17:36:01.754130
• Title: Age-Based Scheduling for Mobile Edge Computing: A Deep Reinforcement Learning Approach
• Title（参考訳）: モバイルエッジコンピューティングのための年齢ベースのスケジューリング:深層強化学習アプローチ
• Authors: Xingqiu He, Chaoqun You, Tony Q. S. Quek
• Abstract要約: 我々は情報時代(AoI)の新たな定義を提案し、再定義されたAoIに基づいて、MECシステムにおけるオンラインAoI問題を定式化する。 本稿では,システム力学の部分的知識を活用するために,PDS(Post-Decision State)を導入する。 また、PSDと深いRLを組み合わせることで、アルゴリズムの適用性、スケーラビリティ、堅牢性をさらに向上します。
• 参考スコア（独自算出の注目度）: 58.911515417156174
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the rapid development of Mobile Edge Computing (MEC), various real-time applications have been deployed to benefit people's daily lives. The performance of these applications relies heavily on the freshness of collected environmental information, which can be quantified by its Age of Information (AoI). In the traditional definition of AoI, it is assumed that the status information can be actively sampled and directly used. However, for many MEC-enabled applications, the desired status information is updated in an event-driven manner and necessitates data processing. To better serve these applications, we propose a new definition of AoI and, based on the redefined AoI, we formulate an online AoI minimization problem for MEC systems. Notably, the problem can be interpreted as a Markov Decision Process (MDP), thus enabling its solution through Reinforcement Learning (RL) algorithms. Nevertheless, the traditional RL algorithms are designed for MDPs with completely unknown system dynamics and hence usually suffer long convergence times. To accelerate the learning process, we introduce Post-Decision States (PDSs) to exploit the partial knowledge of the system's dynamics. We also combine PDSs with deep RL to further improve the algorithm's applicability, scalability, and robustness. Numerical results demonstrate that our algorithm outperforms the benchmarks under various scenarios.
• Abstract（参考訳）: モバイルエッジコンピューティング(MEC)の急速な開発により、人々の日常生活に利益をもたらすために、様々なリアルタイムアプリケーションがデプロイされた。 これらのアプリケーションの性能は、収集された環境情報の鮮度に大きく依存しており、情報時代(AoI)によって定量化することができる。 AoIの従来の定義では、ステータス情報を積極的にサンプリングして直接使用することができる。 しかし、多くのMEC対応アプリケーションでは、望ましいステータス情報はイベント駆動方式で更新され、データ処理が必要になる。 これらの応用をよりよくするために、我々はAoIの新たな定義を提案し、再定義されたAoIに基づいて、MECシステムに対するオンラインAoI最小化問題を定式化する。 特に、この問題はマルコフ決定過程(MDP)と解釈することができ、強化学習(RL)アルゴリズムによる解法を可能にする。 しかしながら、従来のRLアルゴリズムは完全に未知のシステムダイナミクスを持つMDP向けに設計されているため、通常は長い収束時間がかかる。 学習プロセスを加速するために,システムダイナミクスの部分的知識を活用すべく,pdss(post-decision states)を導入する。 PDSと深いRLを組み合わせることで、アルゴリズムの適用性、スケーラビリティ、堅牢性をさらに向上します。 数値計算の結果,提案アルゴリズムは様々なシナリオにおいてベンチマークよりも優れていた。

関連論文リスト

• Burning RED: Unlocking Subtask-Driven Reinforcement Learning and Risk-Awareness in Average-Reward Markov Decision Processes [7.028778922533688]
  平均回帰マルコフ決定プロセス(MDPs)は、不確実性の下でのシーケンシャルな意思決定の基盤となる枠組みを提供する。 平均再帰型MDPのユニークな構造特性を考察し,これを用いてReward-Extended Differential (RED) 強化学習を導入する。
  論文  参考訳（メタデータ） (2024-10-14T14:52:23Z)
• Asynchronous Fractional Multi-Agent Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing [14.260646140460187]
  計算集約的な更新のタイムラインを調査し、AoIを最小化するためにタスク更新とオフロードポリシーを共同で最適化する。 具体的には、エッジ負荷のダイナミクスを考慮し、期待時間平均AoIを最小化するためにタスクスケジューリング問題を定式化する。 提案アルゴリズムは,実験における最良基準アルゴリズムと比較して平均AoIを最大52.6%削減する。
  論文  参考訳（メタデータ） (2024-09-25T11:33:32Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Fractional Deep Reinforcement Learning for Age-Minimal Mobile Edge Computing [11.403989519949173]
  本研究は,AOI( Age-of-Information)によって測定された計算集約更新の時系列に焦点をあてる。 我々は,AoIのタスク更新とオフロードポリシを分断形式で共同で最適化する方法について検討する。 実験の結果,提案アルゴリズムは,いくつかの非フラクタルベンチマークと比較して平均AoIを57.6%削減できることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T11:13:40Z)
• Action-Quantized Offline Reinforcement Learning for Robotic Skill Learning [68.16998247593209]
  オフライン強化学習(RL)パラダイムは、静的な行動データセットを、データを収集したポリシーよりも優れたパフォーマンスのポリシーに変換するためのレシピを提供する。 本稿では,アクション量子化のための適応型スキームを提案する。 IQL,CQL,BRACといった最先端のオフラインRL手法が,提案手法と組み合わせることで,ベンチマークのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-10-18T06:07:10Z)
• Minimizing Age of Information for Mobile Edge Computing Systems: A Nested Index Approach [11.998034941401814]
  モバイルエッジ計算(MEC)は、情報更新性に敏感なリアルタイムアプリケーションを実現するための効率的なアプローチを提供する。 本稿では,MECシステム内の異種エッジサーバにタスクをオフロードする複数のユーザについて検討する。 我々のアルゴリズムは、ベンチマークと比較して最大40%の最適性ギャップの削減につながる。
  論文  参考訳（メタデータ） (2023-07-03T21:47:21Z)
• Age of Semantics in Cooperative Communications: To Expedite Simulation Towards Real via Offline Reinforcement Learning [53.18060442931179]
  協調リレー通信システムにおける状態更新のセマンティックス更新度を測定するための意味学年代(AoS)を提案する。 オンライン・ディープ・アクター・クリティック(DAC)学習手法を,政治時間差学習の枠組みに基づいて提案する。 そこで我々は,以前に収集したデータセットから最適制御ポリシーを推定する,新しいオフラインDAC方式を提案する。
  論文  参考訳（メタデータ） (2022-09-19T11:55:28Z)
• Optimizing the Long-Term Average Reward for Continuing MDPs: A Technical Report [117.23323653198297]
  ユーザが経験した情報の鮮度と、センサが消費するエネルギーのバランスをとっています。 対応するステータス更新手順を継続的なマルコフ決定プロセス(MDP)としてキャストします。 次元の呪いを回避するため,我々は深層強化学習(DRL)アルゴリズムを設計するための方法論を確立した。
  論文  参考訳（メタデータ） (2021-04-13T12:29:55Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)
• Online Service Migration in Edge Computing with Incomplete Information: A Deep Recurrent Actor-Critic Method [18.891775769665102]
  マルチアクセスエッジコンピューティング(MEC)は、クラウドコンピューティングをネットワークエッジに拡張する新興コンピューティングパラダイムである。 サービス移行には,qos(quality-of-service)を維持するためのユーザサービスの移行場所を決定する必要がある 本稿では,ユーザ中心で効果的なオンライン移行決定が可能な,新たな学習駆動型手法である深層反復型アクタクリティックベースサービスマイグレーション(dracm)を提案する。
  論文  参考訳（メタデータ） (2020-12-16T00:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。