論文の概要: Context-aware Constrained Reinforcement Learning Based Energy-Efficient Power Scheduling for Non-stationary XR Data Traffic

• arxiv url: http://arxiv.org/abs/2503.09391v1
• Date: Wed, 12 Mar 2025 13:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:38:07.126880
• Title: Context-aware Constrained Reinforcement Learning Based Energy-Efficient Power Scheduling for Non-stationary XR Data Traffic
• Title（参考訳）: 非定常XRデータトラヒックに対する文脈対応制約付き強化学習に基づくエネルギー効率の良い電力スケジューリング
• Authors: Kexuan Wang, An Liu,
• Abstract要約: ダウンリンク伝送では、データパケットをハードレイテンシ内で供給しながら電力資源を保存するために、効率的な電力スケジューリング(EEPS)が不可欠である。 従来のアルゴリズムではEEPSではpromiseを示すが、コンテキスト非定常データ制約と競合する。 これらの課題を克服するために,提案した文脈対応制約付き強化学習アルゴリズムを用いて,これらの課題を克服する。
• 参考スコア（独自算出の注目度）: 8.526578240549794
• License:
• Abstract: In XR downlink transmission, energy-efficient power scheduling (EEPS) is essential for conserving power resource while delivering large data packets within hard-latency constraints. Traditional constrained reinforcement learning (CRL) algorithms show promise in EEPS but still struggle with non-convex stochastic constraints, non-stationary data traffic, and sparse delayed packet dropout feedback (rewards) in XR. To overcome these challenges, this paper models the EEPS in XR as a dynamic parameter-constrained Markov decision process (DP-CMDP) with a varying transition function linked to the non-stationary data traffic and solves it by a proposed context-aware constrained reinforcement learning (CACRL) algorithm, which consists of a context inference (CI) module and a CRL module. The CI module trains an encoder and multiple potential networks to characterize the current transition function and reshape the packet dropout rewards according to the context, transforming the original DP-CMDP into a general CMDP with immediate dense rewards. The CRL module employs a policy network to make EEPS decisions under this CMDP and optimizes the policy using a constrained stochastic successive convex approximation (CSSCA) method, which is better suited for non-convex stochastic constraints. Finally, theoretical analyses provide deep insights into the CADAC algorithm, while extensive simulations demonstrate that it outperforms advanced baselines in both power conservation and satisfying packet dropout constraints.
• Abstract（参考訳）: XRダウンリンク伝送では、電力資源の保存にはエネルギ効率のよい電力スケジューリング(EEPS)が不可欠である。 従来の制約付き強化学習(CRL)アルゴリズムは、EEPSにおいて有望であるが、それでも非凸確率制約、非定常データトラフィック、XRにおける緩やかなパケットドロップアウトフィードバック(リワード)に苦戦している。 これらの課題を克服するために,本稿では,XRにおけるEEPSを動的パラメータ制約付きマルコフ決定プロセス(DP-CMDP)として,非定常データトラヒックにリンクする様々な遷移関数を用いてモデル化し,コンテキスト推論(CI)モジュールとCRLモジュールからなるコンテキスト認識型制約強化学習(CACRL)アルゴリズムを用いて解決する。 CIモジュールは、エンコーダと複数の潜在的ネットワークをトレーニングし、現在の遷移関数を特徴付け、コンテキストに応じてパケットドロップアウト報酬を変換し、元のDP-CMDPを直感的な深い報酬を持つ一般的なCMDPに変換する。 CRLモジュールは、このCMDPの下でEEPS決定を行うためのポリシーネットワークを使用し、制約付き確率連続凸近似(CSSCA)法を用いてポリシーを最適化する。 最後に、理論解析はCADACアルゴリズムの深い洞察を与える一方、広範なシミュレーションにより、電力保存とパケットのドロップアウト制約を満たす双方において、高度なベースラインよりも優れていることが示されている。

関連論文リスト

• Efficiently Training Deep-Learning Parametric Policies using Lagrangian Duality [55.06411438416805]
  制約付きマルコフ決定プロセス(CMDP)は、多くの高度な応用において重要である。 本稿では,パラメトリックアクターポリシーを効率的に訓練するための2段階深度決定規則(TS-DDR)を提案する。 現状の手法と比較して, 解の質を高め, 数桁の計算時間を削減できることが示されている。
  論文  参考訳（メタデータ） (2024-05-23T18:19:47Z)
• Closed-form congestion control via deep symbolic regression [1.5961908901525192]
  強化学習(RL)アルゴリズムは、超低レイテンシおよび高スループットシナリオにおける課題を処理することができる。 実際のデプロイメントにおけるニューラルネットワークモデルの採用は、リアルタイムの推論と解釈可能性に関して、依然としていくつかの課題を提起している。 本稿では,性能と一般化能力を維持しつつ,このような課題に対処する方法論を提案する。
  論文  参考訳（メタデータ） (2024-03-28T14:31:37Z)
• Lyapunov-Driven Deep Reinforcement Learning for Edge Inference Empowered by Reconfigurable Intelligent Surfaces [30.1512069754603]
  本稿では,ワイヤレスエッジにおけるエネルギー効率,低レイテンシ,高精度な推論のための新しいアルゴリズムを提案する。 本稿では,新しいデータを一連のデバイスで連続的に生成・収集し,動的キューシステムを通じて処理するシナリオについて考察する。
  論文  参考訳（メタデータ） (2023-05-18T12:46:42Z)
• Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet [48.96004919910818]
  We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。 エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。 このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
  論文  参考訳（メタデータ） (2022-12-15T17:01:56Z)
• Fair and Efficient Distributed Edge Learning with Hybrid Multipath TCP [62.81300791178381]
  無線による分散エッジ学習のボトルネックは、コンピューティングから通信へと移行した。 DEL用の既存のTCPベースのデータネットワークスキームは、アプリケーションに依存しず、アプリケーション層要求に応じて調整を施さない。 DELのためのモデルベースと深部強化学習(DRL)に基づくMP TCPを組み合わせたハイブリッドマルチパスTCP(MP TCP)を開発した。
  論文  参考訳（メタデータ） (2022-11-03T09:08:30Z)
• Age of Semantics in Cooperative Communications: To Expedite Simulation Towards Real via Offline Reinforcement Learning [53.18060442931179]
  協調リレー通信システムにおける状態更新のセマンティックス更新度を測定するための意味学年代(AoS)を提案する。 オンライン・ディープ・アクター・クリティック(DAC)学習手法を,政治時間差学習の枠組みに基づいて提案する。 そこで我々は,以前に収集したデータセットから最適制御ポリシーを推定する,新しいオフラインDAC方式を提案する。
  論文  参考訳（メタデータ） (2022-09-19T11:55:28Z)
• Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control [37.10638636086814]
  完全分散無線制御システム(WNCS)の周波数チャネル数に制限のある結合アップリンクとダウンリンクのスケジューリング問題を考える。 深層強化学習(DRL)に基づくフレームワークを開発した。 DRLにおける大きなアクション空間の課題に対処するために,新しいアクション空間削減法とアクション埋め込み法を提案する。
  論文  参考訳（メタデータ） (2021-09-26T11:27:12Z)
• Modular Deep Reinforcement Learning for Continuous Motion Planning with Temporal Logic [59.94347858883343]
  本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。 LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。 モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
  論文  参考訳（メタデータ） (2021-02-24T01:11:25Z)
• Proactive and AoI-aware Failure Recovery for Stateful NFV-enabled Zero-Touch 6G Networks: Model-Free DRL Approach [0.0]
  ゼロタッチPFR(ZT-PFR)と呼ばれるモデルフリー深部強化学習(DRL)に基づくアクティブ障害回復フレームワークを提案する。 ZT-PFRは、ネットワーク機能仮想化(NFV)対応ネットワークにおける組み込みステートフル仮想ネットワーク機能(VNF)用です。
  論文  参考訳（メタデータ） (2021-02-02T21:40:35Z)
• Adaptive Subcarrier, Parameter, and Power Allocation for Partitioned Edge Learning Over Broadband Channels [69.18343801164741]
  パーティショニングエッジ学習(PARTEL)は、無線ネットワークにおいてよく知られた分散学習手法であるパラメータサーバトレーニングを実装している。 本稿では、いくつかの補助変数を導入してParticleELを用いてトレーニングできるディープニューラルネットワーク(DNN)モデルについて考察する。
  論文  参考訳（メタデータ） (2020-10-08T15:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。