論文の概要: Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control

• arxiv url: http://arxiv.org/abs/2109.12562v4
• Date: Fri, 26 Jul 2024 10:11:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 18:51:23.532808
• Title: Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control
• Title（参考訳）: 分散ネットワーク制御における無線スケジューリングのための深層強化学習
• Authors: Gaoyang Pang, Kang Huang, Daniel E. Quevedo, Branka Vucetic, Yonghui Li, Wanchun Liu,
• Abstract要約: 完全分散無線制御システム(WNCS)の周波数チャネル数に制限のある結合アップリンクとダウンリンクのスケジューリング問題を考える。 深層強化学習(DRL)に基づくフレームワークを開発した。 DRLにおける大きなアクション空間の課題に対処するために,新しいアクション空間削減法とアクション埋め込み法を提案する。
• 参考スコア（独自算出の注目度）: 37.10638636086814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We consider a joint uplink and downlink scheduling problem of a fully distributed wireless networked control system (WNCS) with a limited number of frequency channels. Using elements of stochastic systems theory, we derive a sufficient stability condition of the WNCS, which is stated in terms of both the control and communication system parameters. Once the condition is satisfied, there exists a stationary and deterministic scheduling policy that can stabilize all plants of the WNCS. By analyzing and representing the per-step cost function of the WNCS in terms of a finite-length countable vector state, we formulate the optimal transmission scheduling problem into a Markov decision process and develop a deep reinforcement learning (DRL) based framework for solving it. To tackle the challenges of a large action space in DRL, we propose novel action space reduction and action embedding methods for the DRL framework that can be applied to various algorithms, including Deep Q-Network (DQN), Deep Deterministic Policy Gradient (DDPG), and Twin Delayed Deep Deterministic Policy Gradient (TD3). Numerical results show that the proposed algorithm significantly outperforms benchmark policies.
• Abstract（参考訳）: 完全分散無線ネットワーク制御システム(WNCS)の周波数チャネル数に制限のある結合アップリンクとダウンリンクのスケジューリング問題を考える。 確率的システム理論の要素を用いて、制御系パラメータと通信系パラメータの両方で記述されるWNCSの十分な安定性条件を導出する。 条件が満たされると、WNCSのすべての植物を安定させることができる定常的で決定論的スケジューリングポリシーが存在する。 有限長可算ベクトル状態を用いてWNCSのステップあたりのコスト関数を解析し、表現することにより、マルコフ決定プロセスに最適な送信スケジューリング問題を定式化し、それを解くための深層強化学習(DRL)ベースのフレームワークを開発する。 本稿では,DQN(Deep Q-Network)やDDPG(Deep Deterministic Policy Gradient),Twin Delayed Deep Deterministic Policy Gradient(TD3)など,さまざまなアルゴリズムに適用可能な,DRLフレームワークのアクション空間削減とアクション埋め込み手法を提案する。 数値計算の結果,提案アルゴリズムはベンチマークポリシーを著しく上回る結果となった。

関連論文リスト

• Latent feedback control of distributed systems in multiple scenarios through deep learning-based reduced order models [3.5161229331588095]
  高次元分散システムの継続的な監視とリアルタイム制御は、望まれる物理的な振る舞いを保証するためにアプリケーションに不可欠である。 完全順序モデルに依存する従来のフィードバック制御設計は、制御計算の遅延のため、これらの要求を満たすことができない。 非線形非侵襲的深層学習に基づく還元順序モデル(DL-ROM)により強化されたリアルタイム閉ループ制御戦略を提案する。
  論文  参考訳（メタデータ） (2024-12-13T08:04:21Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Resource Optimization for Tail-Based Control in Wireless Networked Control Systems [31.144888314890597]
  制御安定性の達成は、スケーラブルな無線ネットワーク制御システムにおける重要な設計課題の1つである。 本稿では,従来のLQR(Linear Quadratic Regulator)のコスト関数を拡張し,共有無線ネットワーク上で複数の動的制御システムに拡張する,テールベース制御として定義された代替制御の概念の利用について検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:27:44Z)
• Deep Reinforcement Learning for Uplink Scheduling in NOMA-URLLC Networks [7.182684187774442]
  本稿では,無線ネットワークにおけるURLLC(Ultra Reliable Low Communications)の問題に対処する。 本稿では,厳密な期限を含む非直交多重アクセス(NOMA)アップリンクURLLCスケジューリング問題を解くために,DRL(Deep Reinforcement Learning)スケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-28T12:18:02Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• State-Augmented Learnable Algorithms for Resource Management in Wireless Networks [124.89036526192268]
  本稿では,無線ネットワークにおける資源管理問題を解決するためのステート拡張アルゴリズムを提案する。 提案アルゴリズムは, RRM決定を可能, ほぼ最適に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-07-05T18:02:54Z)
• Deep reinforcement learning under signal temporal logic constraints using Lagrangian relaxation [0.0]
  一般的には,決定に制約を課すことができる。 時間的高次タスクを完了させるために制約のある最適決定問題を考える。 ラグランジアン緩和法を用いた二相制約DRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-21T00:56:25Z)
• Fidelity-Guarantee Entanglement Routing in Quantum Networks [64.49733801962198]
  絡み合いルーティングは、2つの任意のノード間のリモート絡み合い接続を確立する。 量子ネットワークにおける複数のソース・デスティネーション(SD)ペアの忠実性を保証するために、精製可能な絡み合わせルーティング設計を提案する。
  論文  参考訳（メタデータ） (2021-11-15T14:07:22Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Chance-Constrained Control with Lexicographic Deep Reinforcement Learning [77.34726150561087]
  本稿では,レキシックなDeep Reinforcement Learning(DeepRL)に基づく確率制約マルコフ決定プロセスを提案する。 有名なDeepRLアルゴリズムDQNの辞書版も提案され、シミュレーションによって検証されている。
  論文  参考訳（メタデータ） (2020-10-19T13:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。