論文の概要: Causal Coupled Mechanisms: A Control Method with Cooperation and
Competition for Complex System
- arxiv url: http://arxiv.org/abs/2209.07368v1
- Date: Thu, 15 Sep 2022 15:32:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-16 12:45:55.299602
- Title: Causal Coupled Mechanisms: A Control Method with Cooperation and
Competition for Complex System
- Title（参考訳）: 因果結合機構:複雑なシステムのための協調と競合を伴う制御法
- Authors: Xuehui Yu, Jingchi Jiang, Xinmiao Yu, Yi Guan, Xue Li
- Abstract要約: 新たな制御手法である因果結合機構(Causal Coupled Mechanisms)を提案する。
合成システムと実世界の生物規制システムの両方において、予測不能なランダムノイズであっても、CCM法は頑健で最先端の制御結果が得られる。
- 参考スコア（独自算出の注目度）: 4.829957501538467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Complex systems are ubiquitous in the real world and tend to have complicated
and poorly understood dynamics. For their control issues, the challenge is to
guarantee accuracy, robustness, and generalization in such bloated and troubled
environments. Fortunately, a complex system can be divided into multiple
modular structures that human cognition appears to exploit. Inspired by this
cognition, a novel control method, Causal Coupled Mechanisms (CCMs), is
proposed that explores the cooperation in division and competition in
combination. Our method employs the theory of hierarchical reinforcement
learning (HRL), in which 1) the high-level policy with competitive awareness
divides the whole complex system into multiple functional mechanisms, and 2)
the low-level policy finishes the control task of each mechanism. Specifically
for cooperation, a cascade control module helps the series operation of CCMs,
and a forward coupled reasoning module is used to recover the coupling
information lost in the division process. On both synthetic systems and a
real-world biological regulatory system, the CCM method achieves robust and
state-of-the-art control results even with unpredictable random noise.
Moreover, generalization results show that reusing prepared specialized CCMs
helps to perform well in environments with different confounders and dynamics.
- Abstract（参考訳）: 複雑なシステムは現実世界に普遍的に存在し、複雑で理解できないダイナミクスを持つ傾向がある。
コントロール上の問題に対して、このような肥大化や問題のある環境での正確性、堅牢性、一般化を保証することが課題である。
幸運なことに、複雑なシステムは、人間の認識が利用しているように見える複数のモジュール構造に分けられる。
この認識にインスパイアされた新しい制御手法であるCausal Coupled Mechanisms (CCMs) が提案され, 分割と競争の連携を両立させる。
本手法は階層的強化学習(HRL)の理論を用いている。
1)競争意識の高い政策は、複雑なシステム全体を複数の機能的メカニズムに分割し、
2)低レベル政策は各機構の制御タスクを終了する。
特に協調のために、カスケード制御モジュールはCCMのシリーズ操作を補助し、前方結合推論モジュールは分割過程で失われた結合情報を復元するために使用される。
合成システムと実世界の生物規制システムの両方において、ccm法は予測不能なランダムノイズでもロバストで最先端の制御結果が得られる。
さらに, CCMの再利用は, 共同ファウンダーやダイナミクスの異なる環境において, 有効に動作することを示す。
関連論文リスト
- Do Not Marginalize Mechanisms, Rather Consolidate! [0.0]
構造因果モデル (Structure causal model, SCM) は、多くの現実世界のシステムを支える複雑な因果関係を理解する強力なツールである。
これらのシステムのサイズが大きくなるにつれて、変数の数や相互作用の複雑さも増加します。
コンソリデーションは,SCMを単純化し,計算複雑性の低減について議論し,統合されたSCMの能力を一般化するための強力な手法であることを示す。
論文 参考訳（メタデータ） (2023-10-12T14:47:51Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳（メタデータ） (2023-05-01T06:46:22Z) - Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。
これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。
提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
論文 参考訳（メタデータ） (2023-03-24T15:12:28Z) - DMAP: a Distributed Morphological Attention Policy for Learning to
Locomote with a Changing Body [126.52031472297413]
本稿では,生物学的に着想を得たポリシーネットワークアーキテクチャであるDMAPを紹介する。
主観的状態に基づく制御ポリシは,高度に可変な身体構成では不十分であることを示す。
DMAPは、すべての考慮された環境において、全体的な一致またはオラクルエージェントのパフォーマンスを超越して、エンドツーエンドで訓練することができる。
論文 参考訳（メタデータ） (2022-09-28T16:45:35Z) - Investigation of Machine Learning-based Coarse-Grained Mapping Schemes
for Organic Molecules [0.0]
粗粒化(CG)により、異なるシステム解像度間のリンクを確立することができる。
本稿では,変分オートエンコーダに基づく機械学習戦略を適用し,適切なマッピング手法の開発について検討する。
論文 参考訳（メタデータ） (2022-09-26T18:30:51Z) - Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。
我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。
コア最適化問題の実用的なパラメトリゼーションを提供する。
論文 参考訳（メタデータ） (2021-07-08T18:01:02Z) - A Formal Framework for Reasoning about Agents' Independence in
Self-organizing Multi-agent Systems [0.7734726150561086]
本稿では,自己組織型マルチエージェントシステムの論理ベースフレームワークを提案する。
このようなシステムを検証する計算の複雑さは、標準atlの領域に近いままであることを示す。
また、制約満足問題をモデル化するためにフレームワークを使用する方法も示します。
論文 参考訳（メタデータ） (2021-05-17T07:32:43Z) - Structured Diversification Emergence via Reinforced Organization Control
and Hierarchical Consensus Learning [48.525944995851965]
組織制御の強化と階層的コンセンサス学習に基づく構造的多様化型MARLフレームワーク scRochico を提案する。
scRochicoは、探索効率と協力強度の観点から、現在のSOTAアルゴリズムよりもはるかに優れている。
論文 参考訳（メタデータ） (2021-02-09T11:46:12Z) - Compositionality of Linearly Solvable Optimal Control in Networked
Multi-Agent Systems [27.544923751902807]
マルチエージェントシステム(MAS)における学習されたコンポーネントタスクから未学習の複合タスクへの最適制御則の一般化手法について議論する。
提案手法は, 離散時間と連続時間の両方において, 協調MASフレームワーク内で同時に制御動作の構成性と最適性を実現する。
論文 参考訳（メタデータ） (2020-09-28T20:21:48Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳（メタデータ） (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。