論文の概要: Trust-based Consensus in Multi-Agent Reinforcement Learning Systems
- arxiv url: http://arxiv.org/abs/2205.12880v1
- Date: Wed, 25 May 2022 15:58:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-26 13:31:06.846873
- Title: Trust-based Consensus in Multi-Agent Reinforcement Learning Systems
- Title（参考訳）: マルチエージェント強化学習システムにおける信頼に基づく合意
- Authors: Ho Long Fung, Victor-Alexandru Darvariu, Stephen Hailes, Mirco
Musolesi
- Abstract要約: マルチエージェント強化学習(MARL)における信頼できないエージェントの問題について検討する。
本稿では、エージェントがどの隣人と通信するかを独立して決定できる分散信頼機構である強化学習に基づく信頼合意(RLTC)を提案する。
我々は、我々の信頼メカニズムが、より高いコンセンサス成功率によって証明されるように、信頼できないエージェントを効果的に扱うことができることを実証的に実証する。
- 参考スコア（独自算出の注目度）: 3.012947865628207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: An often neglected issue in multi-agent reinforcement learning (MARL) is the
potential presence of unreliable agents in the environment whose deviations
from expected behavior can prevent a system from accomplishing its intended
tasks. In particular, consensus is a fundamental underpinning problem of
cooperative distributed multi-agent systems. Consensus requires different
agents, situated in a decentralized communication network, to reach an
agreement out of a set of initial proposals that they put forward.
Learning-based agents should adopt a protocol that allows them to reach
consensus despite having one or more unreliable agents in the system. This
paper investigates the problem of unreliable agents in MARL, considering
consensus as case study. Echoing established results in the distributed systems
literature, our experiments show that even a moderate fraction of such agents
can greatly impact the ability of reaching consensus in a networked
environment. We propose Reinforcement Learning-based Trusted Consensus (RLTC),
a decentralized trust mechanism, in which agents can independently decide which
neighbors to communicate with. We empirically demonstrate that our trust
mechanism is able to deal with unreliable agents effectively, as evidenced by
higher consensus success rates.
- Abstract（参考訳）: マルチエージェント強化学習(MARL)におけるしばしば無視される問題は、期待された振る舞いからの逸脱がシステムが意図したタスクを達成できない環境における信頼性の低いエージェントの存在である。
特に、コンセンサスは協調分散マルチエージェントシステムの基本的な基盤問題である。
合意は、彼らが提案した一連の初期提案から合意に達するために、分散化された通信ネットワークにある異なるエージェントを必要とする。
学習ベースのエージェントは、システム内に1つ以上の信頼できないエージェントがいるにもかかわらず、コンセンサスに到達できるプロトコルを採用するべきである。
本稿では,MARLにおける信頼できないエージェントの問題点を事例研究として考察する。
分散システム文献の確立した結果を反映した実験では,そのようなエージェントのごく一部でも,ネットワーク環境におけるコンセンサスに達する能力に大きな影響を与えうることを示した。
我々は,エージェントが通信相手を独立して決定できる分散信頼機構である強化学習型信頼コンセンサス(rltc)を提案する。
我々は,我々の信頼機構が信頼できないエージェントを効果的に扱えることを実証的に実証した。
関連論文リスト
- CP-Guard: Malicious Agent Detection and Defense in Collaborative Bird's Eye View Perception [54.78412829889825]
コラボレーティブ・パーセプション(CP)は自動運転に有望な技術を示している。
CPでは、ego CAVは協力者からのメッセージを受信する必要があるため、悪意のあるエージェントによる攻撃が容易になる。
我々は,各エージェントが協調ネットワーク内の悪意あるエージェントを正確に検出し,排除するための新しい方法である textbfCP-Guard を提案する。
論文 参考訳（メタデータ） (2024-12-16T17:28:25Z) - Bayesian Methods for Trust in Collaborative Multi-Agent Autonomy [11.246557832016238]
安全クリティカルで競争の激しい環境では、敵は多数のエージェントに侵入し、妥協することがある。
我々は、この妥協されたエージェント脅威モデルの下で、アートマルチターゲット追跡アルゴリズムの状態を解析する。
階層的ベイズ更新を用いた信頼度推定フレームワークを設計する。
論文 参考訳（メタデータ） (2024-03-25T17:17:35Z) - Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning
with Goal Imagination [16.74629849552254]
本稿では,複数のエージェントを協調するモデルに基づくコンセンサス機構を提案する。
提案したMulti-Adnt Goal Imagination (MAGI) フレームワークは、エージェントがImagined Common goalとコンセンサスに達するためのガイドである。
このような効率的なコンセンサス機構は、すべてのエージェントを協調して有用な将来状態に導くことができることを示す。
論文 参考訳（メタデータ） (2024-03-05T18:07:34Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳（メタデータ） (2023-08-22T10:36:56Z) - Mediated Multi-Agent Reinforcement Learning [3.8581550679584473]
社会福祉を最大化するために、政策グラデーションを持つエージェントとともに仲介者を訓練する方法を示す。
行列ゲームと反復ゲームにおける実験は,マルチエージェント強化学習におけるメディエータの適用の可能性を強調した。
論文 参考訳（メタデータ） (2023-06-14T10:31:37Z) - An Algorithm For Adversary Aware Decentralized Networked MARL [0.0]
既存のMARLアルゴリズムのコンセンサス更新に脆弱性を導入する。
我々は,非敵エージェントが敵の存在下で合意に達することを可能にするアルゴリズムを提供する。
論文 参考訳（メタデータ） (2023-05-09T16:02:31Z) - On the Complexity of Multi-Agent Decision Making: From Learning in Games
to Partial Monitoring [105.13668993076801]
マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。
本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。
マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
論文 参考訳（メタデータ） (2023-05-01T06:46:22Z) - Coordinating Policies Among Multiple Agents via an Intelligent
Communication Channel [81.39444892747512]
MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。
本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
論文 参考訳（メタデータ） (2022-05-21T14:11:33Z) - Gaussian Process Based Message Filtering for Robust Multi-Agent
Cooperation in the Presence of Adversarial Communication [5.161531917413708]
マルチエージェントシステムにおける敵通信に対する堅牢性の提供という課題について考察する。
グラフニューラルネットワーク(GNN)に基づく通信アーキテクチャを提案する。
本手法は,非協力的エージェントがもたらす影響を低減できることを示す。
論文 参考訳（メタデータ） (2020-12-01T14:21:58Z) - Learning to Communicate and Correct Pose Errors [75.03747122616605]
本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。
本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
論文 参考訳（メタデータ） (2020-11-10T18:19:40Z) - Counterfactual Multi-Agent Policy Gradients [47.45255170608965]
本稿では,COMAポリシーグラデーションと呼ばれる新しいマルチエージェントアクター批判手法を提案する。
COMAは中央集権的な批評家を用いてQ-関数を推定し、エージェントのポリシーを最適化する。
我々は,StarCraftユニットのマイクロマネジメントにおけるテストベッドにおけるCOMAの評価を行った。
論文 参考訳（メタデータ） (2017-05-24T18:52:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。