論文の概要: Hierarchical Decentralized Stochastic Control for Cyber-Physical Systems
- arxiv url: http://arxiv.org/abs/2506.22971v1
- Date: Sat, 28 Jun 2025 18:03:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-01 21:27:53.653082
- Title: Hierarchical Decentralized Stochastic Control for Cyber-Physical Systems
- Title（参考訳）: サイバー物理システムのための階層型分散確率制御
- Authors: Kesav Kazam Ramachandran Anantharaman, Rahul Meshram,
- Abstract要約: 本稿では,サイバー物理システム制御のための2時間規模の階層型分散アーキテクチャを提案する。
アーキテクチャは、$N$独立サブプロセス、グローバルコントローラ、および$N$ローカルコントローラで構成される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a two-timescale hierarchical decentralized architecture for control of Cyber-Physical Systems. The architecture consists of $N$ independent sub-processes, a global controller, and $N$ local controllers, each formulated as a Markov Decision Process (MDP). The global controller, operating at a slower timescale optimizes the infinite-horizon discounted cumulative reward under budget constraints. For the local controllers, operating at a faster timescale, we propose two different optimization frameworks, namely the COpt and FOpt. In the COpt framework, the local controller also optimizes an infinite-horizon MDP, while in the FOpt framework, the local controller optimizes a finite-horizon MDP. The FOpt framework mimics a federal structure, where the local controllers have more autonomy in their decision making. First, the existence of stationary deterministic optimal policies for both these frameworks is established. Then, various relationships between the two frameworks are studied, including a bound on the difference between the two optimal value functions. Additionally, sufficiency conditions are provided such that the two frameworks lead to the same optimal values.
- Abstract（参考訳）: 本稿では,サイバー物理システム制御のための2時間規模の階層型分散アーキテクチャを提案する。
アーキテクチャは、$N$独立サブプロセス、グローバルコントローラ、$N$ローカルコントローラで構成され、それぞれがMarkov Decision Process (MDP)として定式化されている。
より遅い時間スケールで動作するグローバルコントローラは、予算制約下での無限水平割引累積報酬を最適化する。
より高速な時間スケールで動作するローカルコントローラに対しては、COptとFOptという2つの異なる最適化フレームワークを提案する。
COpt フレームワークでは、ローカルコントローラは無限水平 MDP を最適化する一方、FOpt フレームワークでは、ローカルコントローラは有限水平 MDP を最適化する。
FOptフレームワークは連邦政府の構造を模倣し、ローカルコントローラは意思決定においてより自律性を持つ。
まず、これらのフレームワークに定常的決定論的最適ポリシーが成立する。
次に、最適値関数間の差分を含む2つのフレームワーク間の様々な関係について研究する。
さらに、2つのフレームワークが同じ最適な値に導くように、十分条件が提供される。
関連論文リスト
- Neural Port-Hamiltonian Models for Nonlinear Distributed Control: An Unconstrained Parametrization Approach [0.0]
ニューラルネットワーク(NN)は、優れたパフォーマンスをもたらす制御ポリシのパラメータ化に利用することができる。
NNの小さな入力変更に対する感度は、クローズドループシステムの不安定化のリスクを引き起こす。
これらの問題に対処するために、ポート・ハミルトンシステムのフレームワークを活用して、連続時間分散制御ポリシーを設計する。
提案する分散コントローラの有効性は,非ホロノミック移動ロボットのコンセンサス制御によって実証される。
論文 参考訳（メタデータ） (2024-11-15T10:44:29Z) - Safe Neural Control for Non-Affine Control Systems with Differentiable
Control Barrier Functions [58.19198103790931]
本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。
制御バリア関数(CBF)を用いて,状態制約と制御制約の2次コストの最適化を2次プログラムのシーケンス(QP)にサブ最適化できることが示されている。
我々は,高次CBFをニューラル常微分方程式に基づく学習モデルに差分CBFとして組み込んで,非アフィン制御系の安全性を保証する。
論文 参考訳（メタデータ） (2023-09-06T05:35:48Z) - Optimization of Time-Dependent Decoherence Rates and Coherent Control
for a Qutrit System [77.34726150561087]
非コヒーレント制御は、特定の制御方法で時間に応じてデコヒーレンス率を決定する。
我々は、システムの最終状態$rho(T)$と与えられたターゲット状態$rho_rmターゲットとの間のヒルベルト・シュミットの重なりを最大化する問題を考察する。
論文 参考訳（メタデータ） (2023-08-08T01:28:50Z) - Optimal State Manipulation for a Two-Qubit System Driven by Coherent and
Incoherent Controls [77.34726150561087]
2量子ビット量子系の最適制御には状態準備が重要である。
物理的に異なる2つのコヒーレント制御を利用し、ヒルベルト・シュミット目標密度行列を最適化する。
論文 参考訳（メタデータ） (2023-04-03T10:22:35Z) - Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。
本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-19T05:55:02Z) - On optimization of coherent and incoherent controls for two-level
quantum systems [77.34726150561087]
本稿では、閉かつオープンな2レベル量子系の制御問題について考察する。
閉系の力学は、コヒーレント制御を持つシュリンガー方程式によって支配される。
開系の力学はゴリーニ=コサコフスキー=スダルシャン=リンドブラッドのマスター方程式によって支配される。
論文 参考訳（メタデータ） (2022-05-05T09:08:03Z) - Near-Optimal Distributed Linear-Quadratic Regulator for Networked
Systems [17.385606179429434]
本稿では,グラフ上の相互接続エージェントのシステムと,分散コントローラである$kappa$-distributed Controlについて検討する。
このコントローラはパラメータ$kappa$を使って分散化の度合いを調整できるので、分散化とパフォーマンスの関係を特徴づけることができる。
この結果から,分散制御はある程度の分散化でほぼ最適性能を達成でき,大規模ネットワークシステムにおいて効果的な制御アーキテクチャであることが明らかとなった。
論文 参考訳（メタデータ） (2022-04-12T06:31:26Z) - Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control [37.10638636086814]
完全分散無線制御システム(WNCS)の周波数チャネル数に制限のある結合アップリンクとダウンリンクのスケジューリング問題を考える。
深層強化学習(DRL)に基づくフレームワークを開発した。
DRLにおける大きなアクション空間の課題に対処するために,新しいアクション空間削減法とアクション埋め込み法を提案する。
論文 参考訳（メタデータ） (2021-09-26T11:27:12Z) - Data-Driven Optimized Tracking Control Heuristic for MIMO Structures: A
Balance System Case Study [8.035375408614776]
PIDは2入力の2アウトプットバランスシステムで示される。
自己調整型非線形しきい値とニューラルネットワークを統合し、所望の過渡特性と定常特性を妥協する。
ニューラルネットワークは、客観的コスト関数のような重み付き導関数の最適化を訓練する。
論文 参考訳（メタデータ） (2021-04-01T02:00:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。