論文の概要: Trust-based Consensus in Multi-Agent Reinforcement Learning Systems

• arxiv url: http://arxiv.org/abs/2205.12880v2
• Date: Thu, 30 May 2024 15:04:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-01 00:29:19.888751
• Title: Trust-based Consensus in Multi-Agent Reinforcement Learning Systems
• Title（参考訳）: マルチエージェント強化学習システムにおける信頼に基づく合意
• Authors: Ho Long Fung, Victor-Alexandru Darvariu, Stephen Hailes, Mirco Musolesi,
• Abstract要約: マルチエージェント強化学習(MARL)における信頼できないエージェントの問題について検討する。 本稿では、分散的信頼機構である強化学習に基づく信頼合意(RLTC)を提案する。 高いコンセンサスの成功率によって証明されるように、信頼できないエージェントを効果的に扱えることを実証的に実証する。
• 参考スコア（独自算出の注目度）: 5.778852464898369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: An often neglected issue in multi-agent reinforcement learning (MARL) is the potential presence of unreliable agents in the environment whose deviations from expected behavior can prevent a system from accomplishing its intended tasks. In particular, consensus is a fundamental underpinning problem of cooperative distributed multi-agent systems. Consensus requires different agents, situated in a decentralized communication network, to reach an agreement out of a set of initial proposals that they put forward. Learning-based agents should adopt a protocol that allows them to reach consensus despite having one or more unreliable agents in the system. This paper investigates the problem of unreliable agents in MARL, considering consensus as a case study. Echoing established results in the distributed systems literature, our experiments show that even a moderate fraction of such agents can greatly impact the ability of reaching consensus in a networked environment. We propose Reinforcement Learning-based Trusted Consensus (RLTC), a decentralized trust mechanism, in which agents can independently decide which neighbors to communicate with. We empirically demonstrate that our trust mechanism is able to handle unreliable agents effectively, as evidenced by higher consensus success rates.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)におけるしばしば無視される問題は、期待された振る舞いからの逸脱がシステムが意図したタスクを達成できない環境における信頼性の低いエージェントの存在である。 特に、コンセンサスは、協調分散マルチエージェントシステムの根本的な基盤となる問題である。 合意は、彼らが提案した一連の初期提案から合意に達するために、分散化された通信ネットワークにある異なるエージェントを必要とします。 学習ベースのエージェントは、システムに1つ以上の信頼性の低いエージェントがあるにもかかわらず、コンセンサスに到達するためのプロトコルを採用するべきである。 本稿では,MARLにおける信頼できないエージェントの問題について,コンセンサスを事例として検討する。 分散システムの文献で実証された結果から,ネットワーク環境におけるコンセンサスに到達する能力に大きな影響を及ぼす可能性が示唆された。 エージェントがどの隣人と通信するかを独立して決定できる分散信頼機構である強化学習に基づく信頼合意(RLTC)を提案する。 高いコンセンサスの成功率によって証明されるように、信頼できないエージェントを効果的に扱えることを実証的に実証する。

関連論文リスト

• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)
• Bayesian Methods for Trust in Collaborative Multi-Agent Autonomy [11.246557832016238]
  安全クリティカルで競争の激しい環境では、敵は多数のエージェントに侵入し、妥協することがある。 我々は、この妥協されたエージェント脅威モデルの下で、アートマルチターゲット追跡アルゴリズムの状態を解析する。 階層的ベイズ更新を用いた信頼度推定フレームワークを設計する。
  論文  参考訳（メタデータ） (2024-03-25T17:17:35Z)
• Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination [16.74629849552254]
  本稿では,複数のエージェントを協調するモデルに基づくコンセンサス機構を提案する。 提案したMulti-Adnt Goal Imagination (MAGI) フレームワークは、エージェントがImagined Common goalとコンセンサスに達するためのガイドである。 このような効率的なコンセンサス機構は、すべてのエージェントを協調して有用な将来状態に導くことができることを示す。
  論文  参考訳（メタデータ） (2024-03-05T18:07:34Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Mediated Multi-Agent Reinforcement Learning [3.8581550679584473]
  社会福祉を最大化するために、政策グラデーションを持つエージェントとともに仲介者を訓練する方法を示す。 行列ゲームと反復ゲームにおける実験は,マルチエージェント強化学習におけるメディエータの適用の可能性を強調した。
  論文  参考訳（メタデータ） (2023-06-14T10:31:37Z)
• An Algorithm For Adversary Aware Decentralized Networked MARL [0.0]
  既存のMARLアルゴリズムのコンセンサス更新に脆弱性を導入する。 我々は,非敵エージェントが敵の存在下で合意に達することを可能にするアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-05-09T16:02:31Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Coordinating Policies Among Multiple Agents via an Intelligent Communication Channel [81.39444892747512]
  MARL(Multi-Agent Reinforcement Learning)では、エージェントが直接通信できる特別なチャンネルがしばしば導入される。 本稿では,エージェントの集団的性能を向上させるために,エージェントが提供した信号の伝達と解釈を学習する,インテリジェントなファシリテータを通じてエージェントがコミュニケーションする手法を提案する。
  論文  参考訳（メタデータ） (2022-05-21T14:11:33Z)
• Gaussian Process Based Message Filtering for Robust Multi-Agent Cooperation in the Presence of Adversarial Communication [5.161531917413708]
  マルチエージェントシステムにおける敵通信に対する堅牢性の提供という課題について考察する。 グラフニューラルネットワーク(GNN)に基づく通信アーキテクチャを提案する。 本手法は,非協力的エージェントがもたらす影響を低減できることを示す。
  論文  参考訳（メタデータ） (2020-12-01T14:21:58Z)
• Learning to Communicate and Correct Pose Errors [75.03747122616605]
  本稿では、V2VNetで提案された設定について検討し、近くにある自動運転車が共同で物体検出と動き予測を協調的に行う方法を提案する。 本稿では,コミュニケーションを学習し,潜在的な誤りを推定し,それらの誤りについてコンセンサスを得るための新しいニューラルネットワーク推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-11-10T18:19:40Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。