論文の概要: Safe Multiagent Coordination via Entropic Exploration

• arxiv url: http://arxiv.org/abs/2412.20361v1
• Date: Sun, 29 Dec 2024 05:50:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:04:22.257420
• Title: Safe Multiagent Coordination via Entropic Exploration
• Title（参考訳）: エントロピー探索による安全なマルチエージェント調整
• Authors: Ayhan Alp Aydeniz, Enrico Marchesini, Robert Loftin, Christopher Amato, Kagan Tumer,
• Abstract要約: 制約付きマルチエージェント強化学習(E2C)のためのエントロピー探索を提案する。 E2Cは、調査のインセンティブを高め、安全で効果的な協調行動の学習を促進するために、観察を$%利用している。 ますます複雑な領域にわたる実験により、E2Cエージェントはタスクパフォーマンスにおいて、制約のない、制約のない一般的なベースラインを超えることが示されている。
• 参考スコア（独自算出の注目度）: 17.52749644101866
• License:
• Abstract: Many real-world multiagent learning problems involve safety concerns. In these setups, typical safe reinforcement learning algorithms constrain agents' behavior, limiting exploration -- a crucial component for discovering effective cooperative multiagent behaviors. Moreover, the multiagent literature typically models individual constraints for each agent and has yet to investigate the benefits of using joint team constraints. In this work, we analyze these team constraints from a theoretical and practical perspective and propose entropic exploration for constrained multiagent reinforcement learning (E2C) to address the exploration issue. E2C leverages observation entropy maximization to incentivize exploration and facilitate learning safe and effective cooperative behaviors. Experiments across increasingly complex domains show that E2C agents match or surpass common unconstrained and constrained baselines in task performance while reducing unsafe behaviors by up to $50\%$.
• Abstract（参考訳）: 多くの実世界のマルチエージェント学習問題には、安全性に関する懸念がある。 これらのセットアップでは、典型的な安全な強化学習アルゴリズムはエージェントの振る舞いを制限し、探索を制限する -- 効果的な協調的マルチエージェントの振る舞いを発見するための重要なコンポーネントである。 さらに、マルチエージェント文献は、典型的には各エージェントの個々の制約をモデル化し、共同チーム制約を使用することの利点についてはまだ調査していない。 本研究では,これらのチーム制約を理論的・実践的な観点から分析し,制約付きマルチエージェント強化学習(E2C)のエントロピー探索を提案し,探索問題に対処する。 E2Cは観測エントロピーの最大化を利用して探索のインセンティブを与え、安全で効果的な協調行動の学習を促進する。 ますます複雑なドメインでの実験では、E2Cエージェントはタスクパフォーマンスにおいて、制約のない、制約のない、一般的なベースラインにマッチするか、あるいは超過する一方で、安全でない振る舞いを最大50\%のコストで削減している。

関連論文リスト

• On Multi-Agent Inverse Reinforcement Learning [8.284137254112848]
  Inverse Reinforcement Learning (IRL) フレームワークを多エージェント設定に拡張し、Nash Equilibrium (NE) ポリシーに従うエージェントを観察する。 本稿では,現実的な報酬セットを明示的に評価し,移行ダイナミクスや専門家の行動が報酬にどのように影響するかを推定する。
  論文  参考訳（メタデータ） (2024-11-22T16:31:36Z)
• MESA: Cooperative Meta-Exploration in Multi-Agent Learning through Exploiting State-Action Space Structure [37.56309011441144]
  本稿では,協調型マルチエージェント学習のためのメタ探索手法であるMESAを紹介する。 エージェントはまず、訓練タスクからエージェントの高度に反転する状態-行動サブスペースを識別し、次にサブスペースを"探索する"ための多様な探索ポリシーのセットを学ぶことで探索を学ぶ。 実験の結果,多エージェント粒子環境とマルチエージェント MuJoCo 環境におけるスパース・リワードタスクにおいて,MESA は学習された探索ポリシにより,大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-05-01T23:19:48Z)
• Joint Intrinsic Motivation for Coordinated Exploration in Multi-Agent Deep Reinforcement Learning [0.0]
  本稿では,エージェントが一括して斬新な行動を示すような報奨戦略を提案する。 ジムは連続した環境で機能するように設計されたノベルティの集中的な尺度に基づいて共同軌道に報いる。 その結果、最適戦略が高レベルの調整を必要とするタスクの解決には、共同探索が不可欠であることが示唆された。
  論文  参考訳（メタデータ） (2024-02-06T13:02:00Z)
• DCIR: Dynamic Consistency Intrinsic Reward for Multi-Agent Reinforcement Learning [84.22561239481901]
  本稿では,エージェントの行動が他のエージェントの行動と一致しているかどうかを学習するための新しいアプローチを提案する。 マルチエージェント粒子, Google Research Football および StarCraft II Micromanagement を含む複数の環境における DCIR の評価を行った。
  論文  参考訳（メタデータ） (2023-12-10T06:03:57Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
  深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。 ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-07-23T20:06:32Z)
• Explore and Control with Adversarial Surprise [78.41972292110967]
  強化学習(Reinforcement Learning, RL)は、目標指向のポリシーを学習するためのフレームワークである。 本稿では,RLエージェントが経験した驚きの量と競合する2つのポリシーを相殺する対戦ゲームに基づく,新しい教師なしRL手法を提案する。 本手法は, 明確な相転移を示すことによって, 複雑なスキルの出現につながることを示す。
  論文  参考訳（メタデータ） (2021-07-12T17:58:40Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)
• Learning to Incentivize Other Learning Agents [73.03133692589532]
  我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。 このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。 私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
  論文  参考訳（メタデータ） (2020-06-10T20:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。