論文の概要: InterQ: A DQN Framework for Optimal Intermittent Control

• arxiv url: http://arxiv.org/abs/2504.09035v1
• Date: Sat, 12 Apr 2025 01:18:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:48:51.275466
• Title: InterQ: A DQN Framework for Optimal Intermittent Control
• Title（参考訳）: InterQ: 最適断続制御のためのDQNフレームワーク
• Authors: Shubham Aggarwal, Dipankar Maity, Tamer Başar,
• Abstract要約: 強化学習による離散時間線形システムの通信制御協調設計について検討する。 最適なスケジューリングポリシを開発するために,深層ニューラルネットワークを用いてQ関数を近似する深部強化学習アルゴリズムであるInterQを提案する。
• 参考スコア（独自算出の注目度）: 1.3927943269211593
• License:
• Abstract: In this letter, we explore the communication-control co-design of discrete-time stochastic linear systems through reinforcement learning. Specifically, we examine a closed-loop system involving two sequential decision-makers: a scheduler and a controller. The scheduler continuously monitors the system's state but transmits it to the controller intermittently to balance the communication cost and control performance. The controller, in turn, determines the control input based on the intermittently received information. Given the partially nested information structure, we show that the optimal control policy follows a certainty-equivalence form. Subsequently, we analyze the qualitative behavior of the scheduling policy. To develop the optimal scheduling policy, we propose InterQ, a deep reinforcement learning algorithm which uses a deep neural network to approximate the Q-function. Through extensive numerical evaluations, we analyze the scheduling landscape and further compare our approach against two baseline strategies: (a) a multi-period periodic scheduling policy, and (b) an event-triggered policy. The results demonstrate that our proposed method outperforms both baselines. The open source implementation can be found at https://github.com/AC-sh/InterQ.
• Abstract（参考訳）: 本稿では, 離散時間確率線形系の通信制御協調設計について, 強化学習を通して検討する。 具体的には、スケジューラとコントローラの2つのシーケンシャルな意思決定者を含む閉ループシステムについて検討する。 スケジューラは、システムの状態を継続的に監視するが、間欠的にコントローラに送信し、通信コストと制御性能のバランスをとる。 コントローラは、間欠的に受信された情報に基づいて制御入力を決定する。 部分的にネストされた情報構造を考えると、最適制御ポリシは一定の等価形式に従うことが分かる。 その後、スケジューリングポリシーの質的行動を分析する。 最適なスケジューリングポリシを開発するために,深層ニューラルネットワークを用いてQ関数を近似する深部強化学習アルゴリズムであるInterQを提案する。 広範囲な数値評価を通じて、スケジューリングの状況を分析し、さらに2つの基本戦略に対するアプローチを比較する。 (a)多周期スケジューリング方針、及び (b)イベントトリガー方式 その結果,提案手法は両基準値よりも優れていた。 オープンソース実装はhttps://github.com/AC-sh/InterQ.comで見ることができる。

関連論文リスト

• Distributed-Training-and-Execution Multi-Agent Reinforcement Learning for Power Control in HetNet [48.96004919910818]
  We propose a multi-agent Deep reinforcement learning (MADRL) based power control scheme for the HetNet。 エージェント間の協調を促進するために,MADRLシステムのためのペナルティベースQラーニング(PQL)アルゴリズムを開発した。 このように、エージェントのポリシーは、他のエージェントによってより容易に学習でき、より効率的なコラボレーションプロセスをもたらす。
  論文  参考訳（メタデータ） (2022-12-15T17:01:56Z)
• Age of Semantics in Cooperative Communications: To Expedite Simulation Towards Real via Offline Reinforcement Learning [53.18060442931179]
  協調リレー通信システムにおける状態更新のセマンティックス更新度を測定するための意味学年代(AoS)を提案する。 オンライン・ディープ・アクター・クリティック(DAC)学習手法を,政治時間差学習の枠組みに基づいて提案する。 そこで我々は,以前に収集したデータセットから最適制御ポリシーを推定する,新しいオフラインDAC方式を提案する。
  論文  参考訳（メタデータ） (2022-09-19T11:55:28Z)
• Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
  我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。 本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-19T05:55:02Z)
• Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control [37.10638636086814]
  完全分散無線制御システム(WNCS)の周波数チャネル数に制限のある結合アップリンクとダウンリンクのスケジューリング問題を考える。 深層強化学習(DRL)に基づくフレームワークを開発した。 DRLにおける大きなアクション空間の課題に対処するために,新しいアクション空間削減法とアクション埋め込み法を提案する。
  論文  参考訳（メタデータ） (2021-09-26T11:27:12Z)
• Scheduling in Parallel Finite Buffer Systems: Optimal Decisions under Delayed Feedback [29.177402567437206]
  本稿では,遅延認識の限られた情報の下で並列キューシステムにおけるスケジューリング決定をキャプチャする部分観測可能(PO)モデルを提案する。 得られたポリシーが他の限られた情報スケジューリング戦略より優れていることを数値的に示す。 本稿では,Kaggleが提供するネットワークデータを用いてリアルタイム並列処理を最適化する方法を示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:02Z)
• Better than the Best: Gradient-based Improper Reinforcement Learning for Network Scheduling [60.48359567964899]
  パケット遅延を最小限に抑えるため,制約付き待ち行列ネットワークにおけるスケジューリングの問題を考える。 我々は、利用可能な原子ポリシーよりも優れたスケジューラを生成するポリシー勾配に基づく強化学習アルゴリズムを使用する。
  論文  参考訳（メタデータ） (2021-05-01T10:18:34Z)
• Learning Event-triggered Control from Data through Joint Optimization [7.391641422048646]
  イベントトリガー制御戦略のモデルフリー学習のためのフレームワークを提案する。 階層的強化学習に基づく新しいアルゴリズムを提案する。 得られたアルゴリズムは, 資源の節約や非線形・高次元システムへのシームレスなスケールで, 高性能な制御を実現する。
  論文  参考訳（メタデータ） (2020-08-11T14:15:38Z)
• Information Freshness-Aware Task Offloading in Air-Ground Integrated Edge Computing Systems [49.80033982995667]
  本稿では,空域統合マルチアクセスエッジコンピューティングシステムにおける情報更新性を考慮したタスクオフロードの問題について検討する。 サードパーティのリアルタイムアプリケーションサービスプロバイダは、InPからの限られた通信と計算リソースで、加入したモバイルユーザ(MU)にコンピューティングサービスを提供する。 本稿では,各MUに2つの個別の深度Q-networksを適用し,Q-factorと後Q-factorを近似する新しい深度強化学習手法を提案する。
  論文  参考訳（メタデータ） (2020-07-15T21:32:43Z)
• Online Reinforcement Learning Control by Direct Heuristic Dynamic Programming: from Time-Driven to Event-Driven [80.94390916562179]
  時間駆動学習は、新しいデータが到着すると予測モデルのパラメータを継続的に更新する機械学習手法を指す。 ノイズなどの重要なシステムイベントによる時間駆動型dHDPの更新を防止することが望ましい。 イベント駆動型dHDPアルゴリズムは,従来の時間駆動型dHDPと比較して動作することを示す。
  論文  参考訳（メタデータ） (2020-06-16T05:51:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。