論文の概要: Aligning Individual and Collective Objectives in Multi-Agent Cooperation
- arxiv url: http://arxiv.org/abs/2402.12416v2
- Date: Wed, 22 May 2024 15:56:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-25 06:38:52.698042
- Title: Aligning Individual and Collective Objectives in Multi-Agent Cooperation
- Title（参考訳）: 多エージェント協調における個人・集団目標の調整
- Authors: Yang Li, Wenhao Zhang, Jianhong Wang, Shao Zhang, Yali Du, Ying Wen, Wei Pan,
- Abstract要約: 混合モチベーション協調は、マルチエージェント学習における最も顕著な課題の1つである。
textbftextitAltruistic textbftextitGradient textbftextitAdjustment (textbftextitAgA) という新しい最適化手法を導入する。
我々は,ベンチマーク環境によるAgAアルゴリズムの有効性を評価し,小規模エージェントとの混合モチベーションを検証した。
- 参考スコア（独自算出の注目度）: 18.082268221987956
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Among the research topics in multi-agent learning, mixed-motive cooperation is one of the most prominent challenges, primarily due to the mismatch between individual and collective goals. The cutting-edge research is focused on incorporating domain knowledge into rewards and introducing additional mechanisms to incentivize cooperation. However, these approaches often face shortcomings such as the effort on manual design and the absence of theoretical groundings. To close this gap, we model the mixed-motive game as a differentiable game for the ease of illuminating the learning dynamics towards cooperation. More detailed, we introduce a novel optimization method named \textbf{\textit{A}}ltruistic \textbf{\textit{G}}radient \textbf{\textit{A}}djustment (\textbf{\textit{AgA}}) that employs gradient adjustments to progressively align individual and collective objectives. Furthermore, we theoretically prove that AgA effectively attracts gradients to stable fixed points of the collective objective while considering individual interests, and we validate these claims with empirical evidence. We evaluate the effectiveness of our algorithm AgA through benchmark environments for testing mixed-motive collaboration with small-scale agents such as the two-player public good game and the sequential social dilemma games, Cleanup and Harvest, as well as our self-developed large-scale environment in the game StarCraft II.
- Abstract（参考訳）: マルチエージェント学習における研究トピックの中で、混合モチベーション協調は、主に個人と集団の目標のミスマッチによる、最も顕著な課題の1つである。
最先端の研究は、ドメイン知識を報酬に取り入れ、協力を促進するための追加のメカニズムを導入することに焦点を当てている。
しかしながら、これらのアプローチは手動設計の取り組みや理論的根拠の欠如といった欠点に直面していることが多い。
このギャップを埋めるために、我々は混合動機ゲームを、協調に向けて学習ダイナミクスを照らしやすくするための差別化可能なゲームとしてモデル化する。
より詳しくは、個人と集団の目的を段階的に整合させるために勾配調整を利用する、新しい最適化手法である \textbf{\textit{A}}ltruistic \textbf{\textit{G}}radient \textbf{\textit{A}}djustment (\textbf{\textit{A}}djustment (\textbf{\textit{AgA}})を導入する。
さらに,AgAが個人利害関係を考察しながら,集団目標の安定な定点への勾配を効果的に惹きつけることを理論的に証明し,これらの主張を実証的証拠で検証する。
我々は,2人プレイのパブリックグッドゲームや連続的なソーシャルジレンマゲーム,クリーンアップ,ハーベストといった小規模エージェントとの混合モチベーション協調テストのためのベンチマーク環境によるアルゴリズムAgAの有効性と,ゲームStarCraft IIにおける大規模環境の自己開発について評価した。
関連論文リスト
- Efficient Adaptation in Mixed-Motive Environments via Hierarchical Opponent Modeling and Planning [51.52387511006586]
本稿では,HOP(Hierarchical Opponent Modeling and Planning)を提案する。
HOPは階層的に2つのモジュールから構成される: 相手の目標を推論し、対応する目標条件のポリシーを学ぶ、反対モデリングモジュール。
HOPは、さまざまな未確認エージェントと相互作用する際、優れた少数ショット適応能力を示し、セルフプレイのシナリオで優れている。
論文 参考訳（メタデータ） (2024-06-12T08:48:06Z) - Large Language Model-based Human-Agent Collaboration for Complex Task
Solving [94.3914058341565]
複雑なタスク解決のためのLarge Language Models(LLM)に基づくヒューマンエージェントコラボレーションの問題を紹介する。
Reinforcement Learning-based Human-Agent Collaboration method, ReHACを提案する。
このアプローチには、タスク解決プロセスにおける人間の介入の最も急進的な段階を決定するために設計されたポリシーモデルが含まれている。
論文 参考訳（メタデータ） (2024-02-20T11:03:36Z) - Joint Intrinsic Motivation for Coordinated Exploration in Multi-Agent
Deep Reinforcement Learning [0.0]
本稿では,エージェントが一括して斬新な行動を示すような報奨戦略を提案する。
ジムは連続した環境で機能するように設計されたノベルティの集中的な尺度に基づいて共同軌道に報いる。
その結果、最適戦略が高レベルの調整を必要とするタスクの解決には、共同探索が不可欠であることが示唆された。
論文 参考訳（メタデータ） (2024-02-06T13:02:00Z) - Reducing Optimism Bias in Incomplete Cooperative Games [0.0]
協調ゲームにおける連立価値を明らかにするためのシーケンスの最適化を目的としたフレームワークを提案する。
筆者らのコントリビューションは3つある: (i) 個々のプレイヤーの楽観的な連立価値の達成と、より効率的な最適化を促進するための分析的特性について検討し、 (ii) オフライン・オンライン両方の方法で追加連立価値を開示し、このギャップを最小限に抑える方法、 (iii) 実践シナリオにおけるアルゴリズムの性能を実証的に示す。
論文 参考訳（メタデータ） (2024-02-02T21:58:26Z) - Cooperation Dynamics in Multi-Agent Systems: Exploring Game-Theoretic Scenarios with Mean-Field Equilibria [0.0]
本稿では,ゲーム理論のシナリオ,すなわちIterated Prisoner's Dilemmaにおける協調を呼び起こす戦略について検討する。
既存の協調戦略は、繰り返しゲームにおけるグループ指向行動を促進する効果について分析する。
この研究は、指数関数的に増加するエージェント集団のシナリオにまで及んでいる。
論文 参考訳（メタデータ） (2023-09-28T08:57:01Z) - Tackling Cooperative Incompatibility for Zero-Shot Human-AI Coordination [36.33334853998621]
協調的オープンエンド・ラーニング(COLE)フレームワークを導入し,学習における協調的非互換性を解決する。
COLEは、グラフ理論の観点を用いて、2人のプレイヤーと協調ゲームにおけるオープンエンド目標を定式化し、各戦略の協調能力を評価し、特定する。
我々は,COLEが理論的および経験的分析から協調的不整合性を効果的に克服できることを示した。
論文 参考訳（メタデータ） (2023-06-05T16:51:38Z) - Any-Play: An Intrinsic Augmentation for Zero-Shot Coordination [0.4153433779716327]
我々は、協調型AIを評価するための代替基準を定式化し、この基準を「アルゴリズム間クロスプレイ(inter-algorithm cross-play)」と呼ぶ。
このパラダイムでは,Other-Play や Off-Belief Learning といった,最先端の協調型AIアルゴリズムが低性能であることを示す。
本稿では,Any-Play学習のアルゴリズムをアルゴリズム間クロスプレイ設定に一般化するために,Any-Play学習の拡張を提案する。
論文 参考訳（メタデータ） (2022-01-28T21:43:58Z) - ACP++: Action Co-occurrence Priors for Human-Object Interaction
Detection [102.9428507180728]
ヒューマン・オブジェクト・インタラクション(HOI)検出のタスクにおける一般的な問題は、多数のHOIクラスが少数のラベル付き例しか持たないことである。
我々は、人間と物体の相互作用の間に自然の相関関係と反相関が存在することを観察した。
我々は、これらの先行知識を学習し、特に稀なクラスにおいて、より効果的な訓練に活用する手法を提案する。
論文 参考訳（メタデータ） (2021-09-09T06:02:50Z) - Cooperative Exploration for Multi-Agent Deep Reinforcement Learning [127.4746863307944]
深層強化学習のための協調型マルチエージェント探索(CMAE)を提案する。
ゴールは正規化エントロピーに基づく手法により、複数の射影状態空間から選択される。
CMAEが様々なタスクのベースラインを一貫して上回っていることを実証する。
論文 参考訳（メタデータ） (2021-07-23T20:06:32Z) - UneVEn: Universal Value Exploration for Multi-Agent Reinforcement
Learning [53.73686229912562]
我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。
UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。
一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
論文 参考訳（メタデータ） (2020-10-06T19:08:47Z) - Detecting Human-Object Interactions with Action Co-occurrence Priors [108.31956827512376]
人-物間相互作用(HOI)検出タスクにおける一般的な問題は、多数のHOIクラスが少数のラベル付き例しか持たないことである。
我々は、人間と物体の相互作用の間に自然の相関と反相関が存在することを観察した。
我々はこれらの先行知識を学習し、特に稀なクラスにおいてより効果的な訓練に活用する手法を提案する。
論文 参考訳（メタデータ） (2020-07-17T02:47:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。