論文の概要: Structure-Enhanced DRL for Optimal Transmission Scheduling

• arxiv url: http://arxiv.org/abs/2212.12704v1
• Date: Sat, 24 Dec 2022 10:18:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 14:16:13.812586
• Title: Structure-Enhanced DRL for Optimal Transmission Scheduling
• Title（参考訳）: 最適送信スケジューリングのための構造強化DRL
• Authors: Jiazheng Chen, Wanchun Liu, Daniel E. Quevedo, Saeed R. Khosravirad, Yonghui Li, and Branka Vucetic
• Abstract要約: 本稿では,遠隔推定システムの送信スケジューリング問題に焦点をあてる。 システムの最適スケジューリングのための構造強化型深層強化学習フレームワークを開発した。 特に,政策構造に従う行動を選択する傾向にある構造強化行動選択法を提案する。
• 参考スコア（独自算出の注目度）: 43.801422320012286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Remote state estimation of large-scale distributed dynamic processes plays an important role in Industry 4.0 applications. In this paper, we focus on the transmission scheduling problem of a remote estimation system. First, we derive some structural properties of the optimal sensor scheduling policy over fading channels. Then, building on these theoretical guidelines, we develop a structure-enhanced deep reinforcement learning (DRL) framework for optimal scheduling of the system to achieve the minimum overall estimation mean-square error (MSE). In particular, we propose a structure-enhanced action selection method, which tends to select actions that obey the policy structure. This explores the action space more effectively and enhances the learning efficiency of DRL agents. Furthermore, we introduce a structure-enhanced loss function to add penalties to actions that do not follow the policy structure. The new loss function guides the DRL to converge to the optimal policy structure quickly. Our numerical experiments illustrate that the proposed structure-enhanced DRL algorithms can save the training time by 50% and reduce the remote estimation MSE by 10% to 25% when compared to benchmark DRL algorithms. In addition, we show that the derived structural properties exist in a wide range of dynamic scheduling problems that go beyond remote state estimation.
• Abstract（参考訳）: 大規模分散動的プロセスのリモート状態推定は、業界 4.0 アプリケーションにおいて重要な役割を果たす。 本稿では,遠隔推定システムの送信スケジューリング問題に焦点をあてる。 まず、フェージングチャネル上での最適センサスケジューリングポリシーのいくつかの構造特性を導出する。 そして,これらの理論ガイドラインに基づいて,システム全体の推定平均二乗誤差(MSE)を最小化する最適スケジューリングのための構造強化深部強化学習(DRL)フレームワークを開発する。 特に,政策構造に従う行動を選択する傾向にある構造強化行動選択法を提案する。 これにより、アクション空間をより効率的に探索し、DRLエージェントの学習効率を高めることができる。 さらに、ポリシー構造に従わない行為に対して罰則を追加するための構造強化損失関数を導入する。 新しい損失関数はDRLを最適な政策構造に迅速に収束させる。 数値実験により,提案した構造強化DRLアルゴリズムは,ベンチマークDRLアルゴリズムと比較してトレーニング時間を50%削減し,遠隔推定MSEを10%から25%削減できることを示した。 さらに, 遠隔状態推定を超越した多様な動的スケジューリング問題に, 導出した構造特性が存在することを示す。

関連論文リスト

• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Optimization Theory Based Deep Reinforcement Learning for Resource Allocation in Ultra-Reliable Wireless Networked Control Systems [10.177917426690701]
  本稿では,制御系と通信系の共同設計のための,新しい最適化理論に基づく深層強化学習(DRL)フレームワークを提案する。 通信システムのスケジュール性及びレート制約を満たすとともに、最小消費電力の目標とする。
  論文  参考訳（メタデータ） (2023-11-28T15:49:29Z)
• Structure-Enhanced Deep Reinforcement Learning for Optimal Transmission Scheduling [47.29474858956844]
  マルチセンサリモート推定システムの最適スケジューリングのための構造強化型深部強化学習フレームワークを開発した。 特に,政策構造に従う行動を選択する傾向にある構造強化行動選択法を提案する。 数値計算の結果,提案したDRLアルゴリズムはトレーニング時間を50%削減し,遠隔推定MSEを10%から25%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-11-20T00:13:35Z)
• CACTO: Continuous Actor-Critic with Trajectory Optimization -- Towards global optimality [5.0915256711576475]
  本稿では,Tlayy(TO)とReinforcement Learning(RL)を1つの軌道で組み合わせた,動的システムの連続制御のための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-11-12T10:16:35Z)
• Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality [141.89413461337324]
  展開効率は、強化学習(RL)の多くの実世界の応用にとって重要な基準である 本稿では,「制約付き最適化」の観点から,デプロイ効率の高いRL(DE-RL)の理論的定式化を提案する。
  論文  参考訳（メタデータ） (2022-02-14T01:31:46Z)
• RL-Controller: a reinforcement learning framework for active structural control [0.0]
  フレキシブルでスケーラブルなシミュレーション環境であるRL-Controllerを導入することで,アクティブコントローラを設計するための新しいRLベースのアプローチを提案する。 提案するフレームワークは,5階建てのベンチマークビルディングに対して,平均65%の削減率で,容易に学習可能であることを示す。 LQG 能動制御法との比較研究において,提案したモデルフリーアルゴリズムはより最適なアクチュエータ強制戦略を学習することを示した。
  論文  参考訳（メタデータ） (2021-03-13T04:42:13Z)
• Optimization-driven Deep Reinforcement Learning for Robust Beamforming in IRS-assisted Wireless Communications [54.610318402371185]
  Intelligent Reflecting Surface (IRS)は、マルチアンテナアクセスポイント(AP)から受信機へのダウンリンク情報伝達を支援する有望な技術である。 我々は、APのアクティブビームフォーミングとIRSのパッシブビームフォーミングを共同最適化することで、APの送信電力を最小化する。 過去の経験からビームフォーミング戦略に適応できる深層強化学習(DRL)手法を提案する。
  論文  参考訳（メタデータ） (2020-05-25T01:42:55Z)
• Guided Constrained Policy Optimization for Dynamic Quadrupedal Robot Locomotion [78.46388769788405]
  我々は,制約付きポリシー最適化(CPPO)の実装に基づくRLフレームワークであるGCPOを紹介する。 誘導制約付きRLは所望の最適値に近い高速収束を実現し,正確な報酬関数チューニングを必要とせず,最適かつ物理的に実現可能なロボット制御動作を実現することを示す。
  論文  参考訳（メタデータ） (2020-02-22T10:15:53Z)
• Stacked Auto Encoder Based Deep Reinforcement Learning for Online Resource Scheduling in Large-Scale MEC Networks [44.40722828581203]
  オンラインリソーススケジューリングフレームワークは、IoT(Internet of Things)の全ユーザに対して、重み付けされたタスクレイテンシの総和を最小化するために提案されている。 以下を含む深層強化学習(DRL)に基づく解法を提案する。 DRLがポリシーネットワークをトレーニングし、最適なオフロードポリシーを見つけるのを支援するために、保存および優先されたエクスペリエンスリプレイ(2p-ER)を導入する。
  論文  参考訳（メタデータ） (2020-01-24T23:01:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。