論文の概要: Causal Coupled Mechanisms: A Control Method with Cooperation and
Competition for Complex System
- arxiv url: http://arxiv.org/abs/2209.07368v1
- Date: Thu, 15 Sep 2022 15:32:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 12:45:55.299602
- Title: Causal Coupled Mechanisms: A Control Method with Cooperation and
Competition for Complex System
- Title（参考訳）: 因果結合機構:複雑なシステムのための協調と競合を伴う制御法
- Authors: Xuehui Yu, Jingchi Jiang, Xinmiao Yu, Yi Guan, Xue Li
- Abstract要約: 新たな制御手法である因果結合機構(Causal Coupled Mechanisms)を提案する。
合成システムと実世界の生物規制システムの両方において、予測不能なランダムノイズであっても、CCM法は頑健で最先端の制御結果が得られる。
- 参考スコア（独自算出の注目度）: 4.829957501538467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Complex systems are ubiquitous in the real world and tend to have complicated
and poorly understood dynamics. For their control issues, the challenge is to
guarantee accuracy, robustness, and generalization in such bloated and troubled
environments. Fortunately, a complex system can be divided into multiple
modular structures that human cognition appears to exploit. Inspired by this
cognition, a novel control method, Causal Coupled Mechanisms (CCMs), is
proposed that explores the cooperation in division and competition in
combination. Our method employs the theory of hierarchical reinforcement
learning (HRL), in which 1) the high-level policy with competitive awareness
divides the whole complex system into multiple functional mechanisms, and 2)
the low-level policy finishes the control task of each mechanism. Specifically
for cooperation, a cascade control module helps the series operation of CCMs,
and a forward coupled reasoning module is used to recover the coupling
information lost in the division process. On both synthetic systems and a
real-world biological regulatory system, the CCM method achieves robust and
state-of-the-art control results even with unpredictable random noise.
Moreover, generalization results show that reusing prepared specialized CCMs
helps to perform well in environments with different confounders and dynamics.
- Abstract（参考訳）: 複雑なシステムは現実世界に普遍的に存在し、複雑で理解できないダイナミクスを持つ傾向がある。
コントロール上の問題に対して、このような肥大化や問題のある環境での正確性、堅牢性、一般化を保証することが課題である。
幸運なことに、複雑なシステムは、人間の認識が利用しているように見える複数のモジュール構造に分けられる。
この認識にインスパイアされた新しい制御手法であるCausal Coupled Mechanisms (CCMs) が提案され, 分割と競争の連携を両立させる。
本手法は階層的強化学習(HRL)の理論を用いている。
1)競争意識の高い政策は、複雑なシステム全体を複数の機能的メカニズムに分割し、
2)低レベル政策は各機構の制御タスクを終了する。
特に協調のために、カスケード制御モジュールはCCMのシリーズ操作を補助し、前方結合推論モジュールは分割過程で失われた結合情報を復元するために使用される。
合成システムと実世界の生物規制システムの両方において、ccm法は予測不能なランダムノイズでもロバストで最先端の制御結果が得られる。
さらに, CCMの再利用は, 共同ファウンダーやダイナミクスの異なる環境において, 有効に動作することを示す。
関連論文リスト
- Causal Mean Field Multi-Agent Reinforcement Learning [10.767740092703777]
平均場強化学習(MFRL)と呼ばれるフレームワークは、平均場理論を用いることでスケーラビリティの問題を軽減することができる。
このフレームワークには、非定常環境下での本質的な相互作用を識別する能力がない。
拡張性問題に対処するために,因果平均Q-ラーニング (CMFQ) と呼ばれるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-02-20T02:15:58Z) - Towards the Structure and Mechanisms of Complex Systems, the Approach of the Quantitative Theory of Meaning [0.0]
本稿では,シャノンのコミュニケーション理論の範囲として開発された意味の量的理論を用いて,複雑なシステムの解析を行う。
システムのダイナミクスは、異種エージェント間の反射的な通信によって提供される。
論文 参考訳（メタデータ） (2024-12-12T07:18:47Z) - Do Not Marginalize Mechanisms, Rather Consolidate! [0.0]
構造因果モデル (Structure causal model, SCM) は、多くの現実世界のシステムを支える複雑な因果関係を理解する強力なツールである。
これらのシステムのサイズが大きくなるにつれて、変数の数や相互作用の複雑さも増加します。
コンソリデーションは,SCMを単純化し,計算複雑性の低減について議論し,統合されたSCMの能力を一般化するための強力な手法であることを示す。
論文 参考訳（メタデータ） (2023-10-12T14:47:51Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳（メタデータ） (2023-05-01T06:46:22Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳（メタデータ） (2023-03-24T15:12:28Z) - DMAP: a Distributed Morphological Attention Policy for Learning to
Locomote with a Changing Body [126.52031472297413]
本稿では,生物学的に着想を得たポリシーネットワークアーキテクチャであるDMAPを紹介する。
主観的状態に基づく制御ポリシは,高度に可変な身体構成では不十分であることを示す。
DMAPは、すべての考慮された環境において、全体的な一致またはオラクルエージェントのパフォーマンスを超越して、エンドツーエンドで訓練することができる。
論文 参考訳（メタデータ） (2022-09-28T16:45:35Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - A Formal Framework for Reasoning about Agents' Independence in
Self-organizing Multi-agent Systems [0.7734726150561086]
本稿では,自己組織型マルチエージェントシステムの論理ベースフレームワークを提案する。
このようなシステムを検証する計算の複雑さは、標準atlの領域に近いままであることを示す。
また、制約満足問題をモデル化するためにフレームワークを使用する方法も示します。
論文 参考訳（メタデータ） (2021-05-17T07:32:43Z) - Structured Diversification Emergence via Reinforced Organization Control
and Hierarchical Consensus Learning [48.525944995851965]
組織制御の強化と階層的コンセンサス学習に基づく構造的多様化型MARLフレームワーク scRochico を提案する。
scRochicoは、探索効率と協力強度の観点から、現在のSOTAアルゴリズムよりもはるかに優れている。
論文 参考訳（メタデータ） (2021-02-09T11:46:12Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。