論文の概要: PIMAEX: Multi-Agent Exploration through Peer Incentivization

• arxiv url: http://arxiv.org/abs/2501.01266v1
• Date: Thu, 02 Jan 2025 14:06:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:12:45.309517
• Title: PIMAEX: Multi-Agent Exploration through Peer Incentivization
• Title（参考訳）: PIMAEX:ピアインセンティブによるマルチエージェント探索
• Authors: Michael Kölle, Johannes Tochtermann, Julian Schönberger, Gerhard Stenzel, Philipp Altmann, Claudia Linnhoff-Popien,
• Abstract要約: 本研究は、内在的好奇心と影響に基づく報酬に関する過去の研究から着想を得たピアインセンティブ型報酬関数を提案する。 textitPIMAEXの報酬は、エージェントが互いに影響力を持つように促すことで、マルチエージェント環境での探索を改善することを目的としている。
• 参考スコア（独自算出の注目度）: 4.860484063961962
• License:
• Abstract: While exploration in single-agent reinforcement learning has been studied extensively in recent years, considerably less work has focused on its counterpart in multi-agent reinforcement learning. To address this issue, this work proposes a peer-incentivized reward function inspired by previous research on intrinsic curiosity and influence-based rewards. The \textit{PIMAEX} reward, short for Peer-Incentivized Multi-Agent Exploration, aims to improve exploration in the multi-agent setting by encouraging agents to exert influence over each other to increase the likelihood of encountering novel states. We evaluate the \textit{PIMAEX} reward in conjunction with \textit{PIMAEX-Communication}, a multi-agent training algorithm that employs a communication channel for agents to influence one another. The evaluation is conducted in the \textit{Consume/Explore} environment, a partially observable environment with deceptive rewards, specifically designed to challenge the exploration vs.\ exploitation dilemma and the credit-assignment problem. The results empirically demonstrate that agents using the \textit{PIMAEX} reward with \textit{PIMAEX-Communication} outperform those that do not.
• Abstract（参考訳）: 近年, シングルエージェント強化学習の探究が盛んに行われているが, 多エージェント強化学習への取り組みは少なくなっている。 この問題に対処するため、本研究では、内在的好奇心と影響に基づく報酬に関する過去の研究から着想を得たピアインセンティブ型報酬関数を提案する。 Peer-Incentivized Multi-Agent Exploration の略である \textit{PIMAEX} 報酬は、エージェントが互いに影響力を行使し、新しい状態に遭遇する可能性を高めることで、マルチエージェント環境での探索を改善することを目的としている。 我々は,エージェントが互いに影響を及ぼすための通信チャネルを利用するマルチエージェントトレーニングアルゴリズムである‘textit{PIMAEX-Communication} と併用して, \textit{PIMAEX}報酬を評価する。 この評価は、部分的に観察可能な環境であるtextit{Consume/Explore}環境で行われ、特に探索対探索に挑戦するために設計されている。 利用ジレンマとクレジット割り当ての問題。 その結果, <textit{PIMAEX} 報酬と \textit{PIMAEX-Communication} 報酬を用いたエージェントは, そうでないエージェントよりも優れていたことが実証された。

関連論文リスト

• Fast Peer Adaptation with Context-aware Exploration [63.08444527039578]
  マルチエージェントゲームにおける学習エージェントに対するピア識別報酬を提案する。 この報酬は、効果的な探索と迅速な適応のための文脈認識ポリシーを学ぶためのエージェントのモチベーションとなる。 我々は,競争力のある(クーンポーカー),協力的(PO-Overcooked),あるいは混合的(Predator-Prey-W)な(Pedator-Prey-W)ゲームを含む多種多様なテストベッドについて評価を行った。
  論文  参考訳（メタデータ） (2024-02-04T13:02:27Z)
• Settling Decentralized Multi-Agent Coordinated Exploration by Novelty Sharing [34.299478481229265]
  単純で効果的なマルチエージェント協調探索法である MACE を提案する。 エージェントはローカルノベルティのみを通信することで、他のエージェントのローカルノベルティを考慮し、グローバルノベルティを近似することができる。 MACEはスパース報酬を伴う3つのマルチエージェント環境において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-02-03T09:35:25Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• Successor-Predecessor Intrinsic Exploration [18.440869985362998]
  本研究は,内因性報酬を用いた探索に焦点を当て,エージェントが自己生成型内因性報酬を用いて外因性報酬を過渡的に増強する。 本研究では,先進情報と振り返り情報を組み合わせた新たな固有報酬に基づく探索アルゴリズムSPIEを提案する。 本研究は,SPIEが競合する手法よりも少ない報酬とボトルネック状態の環境において,より効率的かつ倫理的に妥当な探索行動をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-05-24T16:02:51Z)
• Credit-cognisant reinforcement learning for multi-agent cooperation [0.0]
  エージェントは,その行動が環境および共同エージェントに与える影響を知覚することができる。 これらの経験を操り、それらに含まれる報酬を構成することで、すべてのエージェントが受け取る報酬を同一のアクションシーケンスに含めることで、独立した深層Q-ラーニングの性能を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2022-11-18T09:00:25Z)
• Curiosity-Driven Multi-Agent Exploration with Mixed Objectives [7.247148291603988]
  単エージェント強化学習におけるスパース報酬問題を軽減するために、本質的な報酬がますます利用されてきた。 好奇心駆動探索(英: Curiosity-driven exploration)は、エージェントの好奇心モジュールの予測誤差としてこの新規性を定量化する、単純で効率的なアプローチである。 しかし, この好奇心を駆使して, スパース報酬協調型マルチエージェント環境における探索をガイドする手法は, 常に改善に繋がらないことを示す。
  論文  参考訳（メタデータ） (2022-10-29T02:45:38Z)
• Episodic Multi-agent Reinforcement Learning with Curiosity-Driven Exploration [40.87053312548429]
  EMCと呼ばれる好奇心を駆使した新しい多エージェント強化学習について紹介する。 我々は,個別Q値の予測誤差を協調探索の本質的な報奨として使用し,エピソードメモリを用いて探索的な情報的経験を利用して政策訓練を促進する。
  論文  参考訳（メタデータ） (2021-11-22T07:34:47Z)
• Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
  深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。 ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。 CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2021-07-23T20:06:32Z)
• Exploration and Incentives in Reinforcement Learning [107.42240386544633]
  各エージェントが同一(ただし未知)のMDPに直面する複雑な探索問題を考察する。 エージェントはポリシーの選択を制御するが、アルゴリズムは推奨事項のみを発行できる。 MDPのすべての到達可能な状態を探索するアルゴリズムを設計します。
  論文  参考訳（メタデータ） (2021-02-28T00:15:53Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)
• Learning to Incentivize Other Learning Agents [73.03133692589532]
  我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。 このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。 私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
  論文  参考訳（メタデータ） (2020-06-10T20:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。