論文の概要: Trust-based Consensus in Multi-Agent Reinforcement Learning Systems
- arxiv url: http://arxiv.org/abs/2205.12880v1
- Date: Wed, 25 May 2022 15:58:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 13:31:06.846873
- Title: Trust-based Consensus in Multi-Agent Reinforcement Learning Systems
- Title(参考訳): マルチエージェント強化学習システムにおける信頼に基づく合意
- Authors: Ho Long Fung, Victor-Alexandru Darvariu, Stephen Hailes, Mirco
Musolesi
- Abstract要約: マルチエージェント強化学習(MARL)における信頼できないエージェントの問題について検討する。
本稿では、エージェントがどの隣人と通信するかを独立して決定できる分散信頼機構である強化学習に基づく信頼合意(RLTC)を提案する。
我々は、我々の信頼メカニズムが、より高いコンセンサス成功率によって証明されるように、信頼できないエージェントを効果的に扱うことができることを実証的に実証する。
- 参考スコア(独自算出の注目度): 3.012947865628207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An often neglected issue in multi-agent reinforcement learning (MARL) is the
potential presence of unreliable agents in the environment whose deviations
from expected behavior can prevent a system from accomplishing its intended
tasks. In particular, consensus is a fundamental underpinning problem of
cooperative distributed multi-agent systems. Consensus requires different
agents, situated in a decentralized communication network, to reach an
agreement out of a set of initial proposals that they put forward.
Learning-based agents should adopt a protocol that allows them to reach
consensus despite having one or more unreliable agents in the system. This
paper investigates the problem of unreliable agents in MARL, considering
consensus as case study. Echoing established results in the distributed systems
literature, our experiments show that even a moderate fraction of such agents
can greatly impact the ability of reaching consensus in a networked
environment. We propose Reinforcement Learning-based Trusted Consensus (RLTC),
a decentralized trust mechanism, in which agents can independently decide which
neighbors to communicate with. We empirically demonstrate that our trust
mechanism is able to deal with unreliable agents effectively, as evidenced by
higher consensus success rates.
- Abstract(参考訳): マルチエージェント強化学習(MARL)におけるしばしば無視される問題は、期待された振る舞いからの逸脱がシステムが意図したタスクを達成できない環境における信頼性の低いエージェントの存在である。
特に、コンセンサスは協調分散マルチエージェントシステムの基本的な基盤問題である。
合意は、彼らが提案した一連の初期提案から合意に達するために、分散化された通信ネットワークにある異なるエージェントを必要とする。
学習ベースのエージェントは、システム内に1つ以上の信頼できないエージェントがいるにもかかわらず、コンセンサスに到達できるプロトコルを採用するべきである。
本稿では,MARLにおける信頼できないエージェントの問題点を事例研究として考察する。
分散システム文献の確立した結果を反映した実験では,そのようなエージェントのごく一部でも,ネットワーク環境におけるコンセンサスに達する能力に大きな影響を与えうることを示した。
我々は,エージェントが通信相手を独立して決定できる分散信頼機構である強化学習型信頼コンセンサス(rltc)を提案する。
我々は,我々の信頼機構が信頼できないエージェントを効果的に扱えることを実証的に実証した。
関連論文リスト
- Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning
with Goal Imagination [16.74629849552254]
本稿では,複数のエージェントを協調するモデルに基づくコンセンサス機構を提案する。
提案したMulti-Adnt Goal Imagination (MAGI) フレームワークは、エージェントがImagined Common goalとコンセンサスに達するためのガイドである。
このような効率的なコンセンサス機構は、すべてのエージェントを協調して有用な将来状態に導くことができることを示す。
論文 参考訳(メタデータ) (2024-03-05T18:07:34Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z) - Mediated Multi-Agent Reinforcement Learning [3.8581550679584473]
社会福祉を最大化するために、政策グラデーションを持つエージェントとともに仲介者を訓練する方法を示す。
行列ゲームと反復ゲームにおける実験は,マルチエージェント強化学習におけるメディエータの適用の可能性を強調した。
論文 参考訳(メタデータ) (2023-06-14T10:31:37Z) - An Algorithm For Adversary Aware Decentralized Networked MARL [0.0]
既存のMARLアルゴリズムのコンセンサス更新に脆弱性を導入する。
我々は,非敵エージェントが敵の存在下で合意に達することを可能にするアルゴリズムを提供する。
論文 参考訳(メタデータ) (2023-05-09T16:02:31Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳(メタデータ) (2023-05-01T06:46:22Z) - Coordinating Policies Among Multiple Agents via an Intelligent
Communication Channel [81.39444892747512]
MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。
本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
論文 参考訳(メタデータ) (2022-05-21T14:11:33Z) - Cooperative Multi-Agent Actor-Critic for Privacy-Preserving Load
Scheduling in a Residential Microgrid [71.17179010567123]
本稿では,分散型アクターを分散批評家に教育する,プライバシ保護型マルチエージェントアクター批判フレームワークを提案する。
提案手法は,家庭のプライバシを保護しつつ,暗黙的にマルチエージェントの信用代入メカニズムを学習する。
論文 参考訳(メタデータ) (2021-10-06T14:05:26Z) - HAMMER: Multi-Level Coordination of Reinforcement Learning Agents via
Learned Messaging [14.960795846548029]
協調型マルチエージェント強化学習(marl)は,ディープニューラルネットワークの表現学習能力を活用することで,大きな成果を上げている。
本稿では、観測空間全体を観測できる単一の、強力な、中央のエージェントが存在する場合と、局所的な観測のみを受信できる複数の、低パワーのローカルエージェントが相互に通信できない場合について考察する。
中央エージェントの役割は、グローバル観察に基づいて、異なるローカルエージェントに送信すべきメッセージを学ぶことであるが、個々のエージェントがよりよい決定を下せるように、どのような追加情報を受け取るべきかを決定することである。
論文 参考訳(メタデータ) (2021-01-18T19:00:12Z) - Gaussian Process Based Message Filtering for Robust Multi-Agent
Cooperation in the Presence of Adversarial Communication [5.161531917413708]
マルチエージェントシステムにおける敵通信に対する堅牢性の提供という課題について考察する。
グラフニューラルネットワーク(GNN)に基づく通信アーキテクチャを提案する。
本手法は,非協力的エージェントがもたらす影響を低減できることを示す。
論文 参考訳(メタデータ) (2020-12-01T14:21:58Z) - Learning to Communicate and Correct Pose Errors [75.03747122616605]
本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。
本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
論文 参考訳(メタデータ) (2020-11-10T18:19:40Z) - F2A2: Flexible Fully-decentralized Approximate Actor-critic for
Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。
本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。
当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
論文 参考訳(メタデータ) (2020-04-17T14:56:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。