論文の概要: Hierarchical Decentralized Stochastic Control for Cyber-Physical Systems
- arxiv url: http://arxiv.org/abs/2506.22971v3
- Date: Wed, 27 Aug 2025 17:30:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-28 14:51:03.017402
- Title: Hierarchical Decentralized Stochastic Control for Cyber-Physical Systems
- Title（参考訳）: サイバー物理システムのための階層型分散確率制御
- Authors: Kesav Kaza, Ramachandran Anantharaman, Rahul Meshram,
- Abstract要約: 本稿では,サイバー物理システムのための2時間規模の階層型分散制御アーキテクチャを提案する。
このシステムはグローバルコントローラ(GC)とNローカルコントローラ(LC)で構成される。
エネルギーグリッド計画、山火事管理、その他の分散資源配分問題に応用できる。
- 参考スコア（独自算出の注目度）: 6.587978257423018
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces a two-timescale hierarchical decentralized control architecture for Cyber-Physical Systems (CPS). The system consists of a global controller (GC), and N local controllers (LCs). The GC operates at a slower timescale, imposing budget constraints on the actions of LCs, which function at a faster timescale. Applications can be found in energy grid planning, wildfire management, and other decentralized resource allocation problems. We propose and analyze two optimization frameworks for this setting: COpt and FOpt. In COpt, both GC and LCs together optimize infinite-horizon discounted rewards, while in FOpt the LCs optimize finite-horizon episodic rewards, and the GC optimizes infinite-horizon rewards. Although both frameworks share identical reward functions, their differing horizons can lead to different optimal policies. In particular, FOpt grants greater autonomy to LCs by allowing their policies to be determined only by local objectives, unlike COpt. To our knowledge, these frameworks have not been studied in the literature. We establish the formulations, prove the existence of optimal policies, and prove the convergence of their value iteration algorithms. We further show that COpt always achieves a higher value function than FOpt and derive explicit bounds on their difference. Finally, we establish a set of sufficient structural conditions under which the two frameworks become equivalent.
- Abstract（参考訳）: 本稿では,CPS(Cyber-Physical Systems)のための2時間規模の階層型分散制御アーキテクチャを提案する。
このシステムはグローバルコントローラ(GC)とNローカルコントローラ(LC)で構成される。
GCは遅い時間スケールで動作し、LCの動作に予算制約を課し、より速い時間スケールで機能する。
エネルギーグリッド計画、山火事管理、その他の分散資源配分問題に応用できる。
この設定のための2つの最適化フレームワーク、COptとFOptを提案し、分析する。
COptでは、GCとLCは共に無限水平割引報酬を最適化し、FOptではLCは有限水平報酬を最適化し、GCは無限水平報酬を最適化する。
どちらのフレームワークも同じ報酬関数を共有しているが、それらの異なる水平線は異なる最適ポリシーをもたらす可能性がある。
特にFOptは、COptとは異なり、これらのポリシーをローカルな目的によってのみ決定することで、LCにより大きな自主性を与える。
我々の知る限り、これらの枠組みは文学では研究されていない。
定式化を確立し、最適なポリシーの存在を証明し、それらの価値反復アルゴリズムの収束性を証明する。
さらに、COpt は FOpt よりも高い値関数を常に達成し、その差の明示的な境界を導出することを示す。
最後に、2つのフレームワークが等価になる十分な構造条件のセットを確立する。
関連論文リスト
- Parametrized Multi-Agent Routing via Deep Attention Models [1.0377683220196872]
パラメタライズドシーケンシャル意思決定のためのスケーラブルなディープラーニングフレームワーク(ParaSDM)を提案する。
この設定の重要なサブクラスは、複数のエージェントシステムが最適なルートと位置を同時に決定する必要がある施設と場所(FLPO)である。
これを解決するために、最大エントロピー原理(MEP)と、最短経路ネットワーク(SPN)と呼ばれるニューラルポリシーモデルを統合する。
論文 参考訳（メタデータ） (2025-07-30T02:46:45Z) - Neural Port-Hamiltonian Models for Nonlinear Distributed Control: An Unconstrained Parametrization Approach [0.0]
ニューラルネットワーク(NN)は、優れたパフォーマンスをもたらす制御ポリシのパラメータ化に利用することができる。
NNの小さな入力変更に対する感度は、クローズドループシステムの不安定化のリスクを引き起こす。
これらの問題に対処するために、ポート・ハミルトンシステムのフレームワークを活用して、連続時間分散制御ポリシーを設計する。
提案する分散コントローラの有効性は,非ホロノミック移動ロボットのコンセンサス制御によって実証される。
論文 参考訳（メタデータ） (2024-11-15T10:44:29Z) - Safe Neural Control for Non-Affine Control Systems with Differentiable
Control Barrier Functions [58.19198103790931]
本稿では,非アフィン制御系における安全クリティカル制御の問題に対処する。
制御バリア関数(CBF)を用いて,状態制約と制御制約の2次コストの最適化を2次プログラムのシーケンス(QP)にサブ最適化できることが示されている。
我々は,高次CBFをニューラル常微分方程式に基づく学習モデルに差分CBFとして組み込んで,非アフィン制御系の安全性を保証する。
論文 参考訳（メタデータ） (2023-09-06T05:35:48Z) - Optimization of Time-Dependent Decoherence Rates and Coherent Control
for a Qutrit System [77.34726150561087]
非コヒーレント制御は、特定の制御方法で時間に応じてデコヒーレンス率を決定する。
我々は、システムの最終状態$rho(T)$と与えられたターゲット状態$rho_rmターゲットとの間のヒルベルト・シュミットの重なりを最大化する問題を考察する。
論文 参考訳（メタデータ） (2023-08-08T01:28:50Z) - Optimal State Manipulation for a Two-Qubit System Driven by Coherent and
Incoherent Controls [77.34726150561087]
2量子ビット量子系の最適制御には状態準備が重要である。
物理的に異なる2つのコヒーレント制御を利用し、ヒルベルト・シュミット目標密度行列を最適化する。
論文 参考訳（メタデータ） (2023-04-03T10:22:35Z) - Actor-Critic based Improper Reinforcement Learning [61.430513757337486]
我々は,未知のマルコフ決定プロセスに対して,学習者に100万ドルのベースコントローラを付与する不適切な強化学習環境を考える。
本稿では,(1)ポリシーグラディエントに基づくアプローチ,(2)単純なアクター・クリティカル・スキームとNatural Actor-Criticスキームを切り替えるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-19T05:55:02Z) - On optimization of coherent and incoherent controls for two-level
quantum systems [77.34726150561087]
本稿では、閉かつオープンな2レベル量子系の制御問題について考察する。
閉系の力学は、コヒーレント制御を持つシュリンガー方程式によって支配される。
開系の力学はゴリーニ=コサコフスキー=スダルシャン=リンドブラッドのマスター方程式によって支配される。
論文 参考訳（メタデータ） (2022-05-05T09:08:03Z) - Near-Optimal Distributed Linear-Quadratic Regulator for Networked
Systems [17.385606179429434]
本稿では,グラフ上の相互接続エージェントのシステムと,分散コントローラである$kappa$-distributed Controlについて検討する。
このコントローラはパラメータ$kappa$を使って分散化の度合いを調整できるので、分散化とパフォーマンスの関係を特徴づけることができる。
この結果から,分散制御はある程度の分散化でほぼ最適性能を達成でき,大規模ネットワークシステムにおいて効果的な制御アーキテクチャであることが明らかとなった。
論文 参考訳（メタデータ） (2022-04-12T06:31:26Z) - Deep Reinforcement Learning for Wireless Scheduling in Distributed Networked Control [37.10638636086814]
完全分散無線制御システム(WNCS)の周波数チャネル数に制限のある結合アップリンクとダウンリンクのスケジューリング問題を考える。
深層強化学習(DRL)に基づくフレームワークを開発した。
DRLにおける大きなアクション空間の課題に対処するために,新しいアクション空間削減法とアクション埋め込み法を提案する。
論文 参考訳（メタデータ） (2021-09-26T11:27:12Z) - Data-Driven Optimized Tracking Control Heuristic for MIMO Structures: A
Balance System Case Study [8.035375408614776]
PIDは2入力の2アウトプットバランスシステムで示される。
自己調整型非線形しきい値とニューラルネットワークを統合し、所望の過渡特性と定常特性を妥協する。
ニューラルネットワークは、客観的コスト関数のような重み付き導関数の最適化を訓練する。
論文 参考訳（メタデータ） (2021-04-01T02:00:20Z) - Modular Deep Reinforcement Learning for Continuous Motion Planning with
Temporal Logic [59.94347858883343]
本稿では,マルコフ決定過程(MDP)をモデルとした自律動的システムの運動計画について検討する。
LDGBA と MDP の間に組込み製品 MDP (EP-MDP) を設計することである。
モデルフリー強化学習(RL)のためのLDGBAベースの報酬形成と割引スキームは、EP-MDP状態にのみ依存する。
論文 参考訳（メタデータ） (2021-02-24T01:11:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。