論文の概要: Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control

• arxiv url: http://arxiv.org/abs/2109.12562v1
• Date: Sun, 26 Sep 2021 11:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-29 11:58:27.732289
• Title: Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control
• Title（参考訳）: 分散ネットワーク制御における無線スケジューリングのための深層強化学習
• Authors: Wanchun Liu, Kang Huang, Daniel E. Quevedo, Branka Vucetic and Yonghui Li
• Abstract要約: この研究は、分散植物、センサー、アクチュエータ、コントローラを備えた完全な分散WNCSを考慮し、限られた数の周波数チャネルを共有する。 最適な送信スケジューリング問題を決定プロセス問題に定式化し、それを解くための深層強化学習アルゴリズムを開発する。
• 参考スコア（独自算出の注目度）: 56.77877237894372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the literature of transmission scheduling in wireless networked control systems (WNCSs) over shared wireless resources, most research works have focused on partially distributed settings, i.e., where either the controller and actuator, or the sensor and controller are co-located. To overcome this limitation, the present work considers a fully distributed WNCS with distributed plants, sensors, actuators and a controller, sharing a limited number of frequency channels. To overcome communication limitations, the controller schedules the transmissions and generates sequential predictive commands for control. Using elements of stochastic systems theory, we derive a sufficient stability condition of the WNCS, which is stated in terms of both the control and communication system parameters. Once the condition is satisfied, there exists at least one stationary and deterministic scheduling policy that can stabilize all plants of the WNCS. By analyzing and representing the per-step cost function of the WNCS in terms of a finite-length countable vector state, we formulate the optimal transmission scheduling problem into a Markov decision process problem and develop a deep-reinforcement-learning-based algorithm for solving it. Numerical results show that the proposed algorithm significantly outperforms the benchmark policies.
• Abstract（参考訳）: 共有無線リソースを用いた無線ネットワーク制御システム(wncss)における伝送スケジューリングの文献では、ほとんどの研究は、部分的に分散された設定、すなわち、コントローラとアクチュエータ、またはセンサとコントローラが同じ位置にあることに焦点を当てている。 この制限を克服するため,本研究では,分散プラント,センサ,アクチュエータ,コントローラを備えた完全分散wncについて検討する。 通信制限を克服するため、コントローラは送信をスケジュールし、制御のための逐次予測コマンドを生成する。 確率的システム理論の要素を用いて、制御系パラメータと通信系パラメータの両方で記述されるWNCSの十分な安定性条件を導出する。 条件が満たされると、wncの全プラントを安定化できる少なくとも1つの定常的かつ決定論的スケジューリングポリシーが存在する。 有限長可算ベクトル状態を用いてWNCSのステップ毎のコスト関数を解析・表現することにより、マルコフ決定プロセス問題に最適な送信スケジューリング問題を定式化し、それを解くための深層強化学習に基づくアルゴリズムを開発する。 数値計算の結果,提案アルゴリズムはベンチマーク・ポリシーを著しく上回る結果となった。

関連論文リスト

• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Resource Optimization for Tail-Based Control in Wireless Networked Control Systems [31.144888314890597]
  制御安定性の達成は、スケーラブルな無線ネットワーク制御システムにおける重要な設計課題の1つである。 本稿では,従来のLQR(Linear Quadratic Regulator)のコスト関数を拡張し,共有無線ネットワーク上で複数の動的制御システムに拡張する,テールベース制御として定義された代替制御の概念の利用について検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:27:44Z)
• Deep Reinforcement Learning for Uplink Scheduling in NOMA-URLLC Networks [7.182684187774442]
  本稿では,無線ネットワークにおけるURLLC(Ultra Reliable Low Communications)の問題に対処する。 本稿では,厳密な期限を含む非直交多重アクセス(NOMA)アップリンクURLLCスケジューリング問題を解くために,DRL(Deep Reinforcement Learning)スケジューリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-08-28T12:18:02Z)
• Decentralized Federated Reinforcement Learning for User-Centric Dynamic TFDD Control [37.54493447920386]
  非対称かつ不均一なトラフィック要求を満たすための学習に基づく動的時間周波数分割二重化(D-TFDD)方式を提案する。 分散化された部分観測可能なマルコフ決定過程(Dec-POMDP)として問題を定式化する。 本稿では,グローバルリソースを分散的に最適化するために,Wolpertinger Deep Deterministic Policy gradient (FWDDPG)アルゴリズムという,連合強化学習(RL)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-04T07:39:21Z)
• State-Augmented Learnable Algorithms for Resource Management in Wireless Networks [124.89036526192268]
  本稿では,無線ネットワークにおける資源管理問題を解決するためのステート拡張アルゴリズムを提案する。 提案アルゴリズムは, RRM決定を可能, ほぼ最適に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-07-05T18:02:54Z)
• Deep reinforcement learning under signal temporal logic constraints using Lagrangian relaxation [0.0]
  一般的には,決定に制約を課すことができる。 時間的高次タスクを完了させるために制約のある最適決定問題を考える。 ラグランジアン緩和法を用いた二相制約DRLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-21T00:56:25Z)
• Fidelity-Guarantee Entanglement Routing in Quantum Networks [64.49733801962198]
  絡み合いルーティングは、2つの任意のノード間のリモート絡み合い接続を確立する。 量子ネットワークにおける複数のソース・デスティネーション(SD)ペアの忠実性を保証するために、精製可能な絡み合わせルーティング設計を提案する。
  論文  参考訳（メタデータ） (2021-11-15T14:07:22Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Escaping from Zero Gradient: Revisiting Action-Constrained Reinforcement Learning via Frank-Wolfe Policy Optimization [5.072893872296332]
  アクション制約強化学習(RL)は、さまざまな現実世界のアプリケーションで広く使用されているアプローチです。 本稿では,政策パラメータ更新から行動制約を分離する学習アルゴリズムを提案する。 提案アルゴリズムは,様々な制御タスクにおけるベンチマーク手法を有意に上回っていることを示した。
  論文  参考訳（メタデータ） (2021-02-22T14:28:03Z)
• Chance-Constrained Control with Lexicographic Deep Reinforcement Learning [77.34726150561087]
  本稿では,レキシックなDeep Reinforcement Learning(DeepRL)に基づく確率制約マルコフ決定プロセスを提案する。 有名なDeepRLアルゴリズムDQNの辞書版も提案され、シミュレーションによって検証されている。
  論文  参考訳（メタデータ） (2020-10-19T13:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。