論文の概要: Optimization Theory Based Deep Reinforcement Learning for Resource
Allocation in Ultra-Reliable Wireless Networked Control Systems
- arxiv url: http://arxiv.org/abs/2311.16895v2
- Date: Tue, 19 Dec 2023 15:26:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-20 22:15:54.848219
- Title: Optimization Theory Based Deep Reinforcement Learning for Resource
Allocation in Ultra-Reliable Wireless Networked Control Systems
- Title（参考訳）: 超信頼性無線ネットワーク制御系における資源配分のための最適化理論に基づく深層強化学習
- Authors: Hamida Qumber Ali, Amirhassan Babazadeh Darabi, Sinem Coleri
- Abstract要約: 本稿では,制御系と通信系の共同設計のための,新しい最適化理論に基づく深層強化学習(DRL)フレームワークを提案する。
通信システムのスケジュール性及びレート制約を満たすとともに、最小消費電力の目標とする。
- 参考スコア（独自算出の注目度）: 10.177917426690701
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The design of Wireless Networked Control System (WNCS) requires addressing
critical interactions between control and communication systems with minimal
complexity and communication overhead while providing ultra-high reliability.
This paper introduces a novel optimization theory based deep reinforcement
learning (DRL) framework for the joint design of controller and communication
systems. The objective of minimum power consumption is targeted while
satisfying the schedulability and rate constraints of the communication system
in the finite blocklength regime and stability constraint of the control
system. Decision variables include the sampling period in the control system,
and blocklength and packet error probability in the communication system. The
proposed framework contains two stages: optimization theory and DRL. In the
optimization theory stage, following the formulation of the joint optimization
problem, optimality conditions are derived to find the mathematical relations
between the optimal values of the decision variables. These relations allow the
decomposition of the problem into multiple building blocks. In the DRL stage,
the blocks that are simplified but not tractable are replaced by DRL. Via
extensive simulations, the proposed optimization theory based DRL approach is
demonstrated to outperform the optimization theory and pure DRL based
approaches, with close to optimal performance and much lower complexity.
- Abstract（参考訳）: 無線ネットワーク制御システム(WNCS)の設計は、超高信頼性を提供しながら、最小限の複雑さと通信オーバーヘッドで制御と通信システム間の重要な相互作用に対処する必要がある。
本稿では,制御系と通信系の結合設計のための新しい最適化理論に基づく深部強化学習(DRL)フレームワークを提案する。
有限ブロック長レジームにおける通信システムの分割可能性とレート制約と制御系の安定性制約を満足しつつ、最小消費電力の目標を目標とする。
決定変数は、制御システムにおけるサンプリング期間と、通信システムにおけるブロック長およびパケットエラー確率を含む。
提案手法は最適化理論とDRLの2段階を含む。
最適化理論の段階では、結合最適化問題の定式化に続いて、決定変数の最適値間の数学的関係を求めるために最適条件が導出される。
これらの関係により、問題を複数のビルディングブロックに分解することができる。
DRLの段階では、単純化されているが取り外せないブロックはDRLに置き換えられる。
広範なシミュレーションにより、最適化理論に基づくDRLアプローチは最適化理論と純粋なDRLベースのアプローチより優れ、最適性能に近く、複雑度もはるかに低い。
関連論文リスト
- Diffusion Model Based Resource Allocation Strategy in Ultra-Reliable Wireless Networked Control Systems [10.177917426690701]
拡散モデルは、複雑なデータ分散をキャプチャするその能力を活用することによって、生成AIで大いに利用されている。
本稿では,無線ネットワーク制御システムのための新しい拡散モデルに基づく資源配分手法を提案する。
提案手法は,従来提案されていたDeep Reinforcement Learning (DRL) ベースの手法よりも高い性能を示し,全消費電力に関する最適性能を示した。
論文 参考訳（メタデータ） (2024-07-22T16:44:57Z) - Event-Triggered Reinforcement Learning Based Joint Resource Allocation for Ultra-Reliable Low-Latency V2X Communications [10.914558012458425]
6G対応車載ネットワークは、安全クリティカルな情報をタイムリーに提供するための低遅延通信(URLLC)を確保するという課題に直面している。
車両間通信システム(V2X)の従来のリソース割り当てスキームは、従来の復号法に基づくアルゴリズムに依存している。
論文 参考訳（メタデータ） (2024-07-18T23:55:07Z) - Design Optimization of NOMA Aided Multi-STAR-RIS for Indoor Environments: A Convex Approximation Imitated Reinforcement Learning Approach [51.63921041249406]
非直交多重アクセス(Noma)により、複数のユーザが同じ周波数帯域を共有でき、同時に再構成可能なインテリジェントサーフェス(STAR-RIS)を送信および反射することができる。
STAR-RISを屋内に展開することは、干渉緩和、電力消費、リアルタイム設定における課題を提示する。
複数のアクセスポイント(AP)、STAR-RIS、NOMAを利用した新しいネットワークアーキテクチャが屋内通信のために提案されている。
論文 参考訳（メタデータ） (2024-06-19T07:17:04Z) - Joint User Association, Interference Cancellation and Power Control for
Multi-IRS Assisted UAV Communications [80.35959154762381]
インテリジェント反射面(IRS)支援無人航空機(UAV)通信は、地上基地局の負荷を低コストで軽減することが期待されている。
既存の研究は主に、複数のIRSではなく単一のIRSの配置とリソース割り当てに焦点を当てている。
我々は,共同IRSユーザアソシエーションのための新しい最適化アルゴリズム,UAVの軌道最適化,逐次干渉キャンセル(SIC)復号命令スケジューリング,電力割り当てを提案する。
論文 参考訳（メタデータ） (2023-12-08T01:57:10Z) - Structure-Enhanced DRL for Optimal Transmission Scheduling [43.801422320012286]
本稿では,遠隔推定システムの送信スケジューリング問題に焦点をあてる。
システムの最適スケジューリングのための構造強化型深層強化学習フレームワークを開発した。
特に,政策構造に従う行動を選択する傾向にある構造強化行動選択法を提案する。
論文 参考訳（メタデータ） (2022-12-24T10:18:38Z) - Multi-Resource Allocation for On-Device Distributed Federated Learning
Systems [79.02994855744848]
本研究は,デバイス上の分散フェデレーション学習(FL)システムにおいて,レイテンシとエネルギー消費の重み付け和を最小化する分散マルチリソース割り当て方式を提案する。
システム内の各モバイルデバイスは、指定された領域内でモデルトレーニングプロセスを実行し、それぞれパラメータの導出とアップロードを行うための計算と通信資源を割り当てる。
論文 参考訳（メタデータ） (2022-11-01T14:16:05Z) - Deep Learning for Wireless Networked Systems: a joint
Estimation-Control-Scheduling Approach [47.29474858956844]
ワイヤレスネットワーク制御システム(Wireless Networked Control System, WNCS)は、無線通信を介してセンサ、コントローラ、アクチュエータを接続する技術であり、産業用 4.0 時代において、高度にスケーラブルで低コストな制御システムの展開を可能にする技術である。
WNCSにおける制御と通信の密接な相互作用にもかかわらず、既存のほとんどの研究は分離設計アプローチを採用している。
モデルフリーデータとモデルベースデータの両方を利用する制御と最適化のための,DRLに基づく新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-03T01:29:40Z) - Towards Deployment-Efficient Reinforcement Learning: Lower Bound and
Optimality [141.89413461337324]
展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である
本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
論文 参考訳（メタデータ） (2022-02-14T01:31:46Z) - Learning Event-triggered Control from Data through Joint Optimization [7.391641422048646]
イベントトリガー制御戦略のモデルフリー学習のためのフレームワークを提案する。
階層的強化学習に基づく新しいアルゴリズムを提案する。
得られたアルゴリズムは, 資源の節約や非線形・高次元システムへのシームレスなスケールで, 高性能な制御を実現する。
論文 参考訳（メタデータ） (2020-08-11T14:15:38Z) - Optimization-driven Deep Reinforcement Learning for Robust Beamforming
in IRS-assisted Wireless Communications [54.610318402371185]
Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。
我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。
過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
論文 参考訳（メタデータ） (2020-05-25T01:42:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。