論文の概要: Emergent Cooperation under Uncertain Incentive Alignment
- arxiv url: http://arxiv.org/abs/2401.12646v1
- Date: Tue, 23 Jan 2024 10:55:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 16:08:53.182817
- Title: Emergent Cooperation under Uncertain Incentive Alignment
- Title(参考訳): 不確かさによる創発的協調
- Authors: Nicole Orzan, Erman Acar, Davide Grossi, Roxana R\u{a}dulescu
- Abstract要約: 頻繁な出会いを特徴とするシナリオにおける強化学習エージェント間の協力関係について検討する。
本研究では,複合モチベーション環境における協調を促進するために文献で提案されている評価や本質的な報酬などのメカニズムの効果について検討する。
- 参考スコア(独自算出の注目度): 7.906156032228933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Understanding the emergence of cooperation in systems of computational agents
is crucial for the development of effective cooperative AI. Interaction among
individuals in real-world settings are often sparse and occur within a broad
spectrum of incentives, which often are only partially known. In this work, we
explore how cooperation can arise among reinforcement learning agents in
scenarios characterised by infrequent encounters, and where agents face
uncertainty about the alignment of their incentives with those of others. To do
so, we train the agents under a wide spectrum of environments ranging from
fully competitive, to fully cooperative, to mixed-motives. Under this type of
uncertainty we study the effects of mechanisms, such as reputation and
intrinsic rewards, that have been proposed in the literature to foster
cooperation in mixed-motives environments. Our findings show that uncertainty
substantially lowers the agents' ability to engage in cooperative behaviour,
when that would be the best course of action. In this scenario, the use of
effective reputation mechanisms and intrinsic rewards boosts the agents'
capability to act nearly-optimally in cooperative environments, while greatly
enhancing cooperation in mixed-motive environments as well.
- Abstract(参考訳): 計算エージェントのシステムにおける協調の出現を理解することは、効果的な協調AIの開発に不可欠である。
現実の環境での個人間の相互作用はしばしばスパースであり、インセンティブの範囲内で起こるが、それは部分的にしか知られていない。
本研究では,不適切な出会いによって特徴づけられるシナリオにおいて,強化学習エージェント間の協調がいかに生じ得るか,また,エージェントがインセンティブと他人のインセンティブの連携について不確実性に直面するかを検討する。
そこで我々は,完全競争から完全協調,混合動機に至るまで,幅広い環境下でエージェントを訓練する。
このような不確実性の下では,混合モチベーション環境における協調を促進するために文献で提案されている評価や内在的な報酬などのメカニズムの効果について検討する。
以上の結果から,不確実性はエージェントの協調行動への関与能力を大幅に低下させることが明らかとなった。
このシナリオでは、効果的な評価機構と本質的な報酬の使用により、エージェントが協調環境でほぼ最適に行動する能力が向上し、混合モチベーション環境での協力も大幅に向上する。
関連論文リスト
- Situation-Dependent Causal Influence-Based Cooperative Multi-agent
Reinforcement Learning [18.054709749075194]
我々は、状況依存因果関係に基づく協調マルチエージェント強化学習(SCIC)という新しいMARLアルゴリズムを提案する。
本研究の目的は,特定の状況におけるエージェント間因果関係の影響を,因果介入と条件付き相互情報を用いて検出することである。
結果として得られたアップデートは、協調した探索と本質的な報酬分布をリンクし、全体的なコラボレーションとパフォーマンスを高めた。
論文 参考訳(メタデータ) (2023-12-15T05:09:32Z) - ProAgent: Building Proactive Cooperative Agents with Large Language
Models [89.53040828210945]
ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。
ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。
ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
論文 参考訳(メタデータ) (2023-08-22T10:36:56Z) - AgentVerse: Facilitating Multi-Agent Collaboration and Exploring
Emergent Behaviors [93.38830440346783]
本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。
実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。
これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
論文 参考訳(メタデータ) (2023-08-21T16:47:11Z) - Investigating the Impact of Direct Punishment on the Emergence of
Cooperation in Multi-Agent Reinforcement Learning Systems [2.5426469613007012]
本稿では,多エージェント強化学習システムにおける直接罰に関連する行動と学習のダイナミクスを包括的に分析する。
我々は,これらの重要なメカニズムがエージェントが学んだ戦略のダイナミクスに与える影響を,広範囲かつ体系的に評価する。
論文 参考訳(メタデータ) (2023-01-19T19:33:54Z) - The art of compensation: how hybrid teams solve collective risk dilemmas [6.081979963786028]
適応剤と固定行動剤を併用したハイブリッド集団における協調の進化的ダイナミクスについて検討した。
後者の振る舞いを補うために,まず,行動に適応することを学ぶ方法を示す。
論文 参考訳(メタデータ) (2022-05-13T13:23:42Z) - Resonating Minds -- Emergent Collaboration Through Hierarchical Active
Inference [0.0]
精神状態(意図,目標)のレベルでの自動調整プロセスが,協調的な問題解決につながるかを検討する。
協調エージェント(HAICA)の階層的アクティブ推論モデルを提案する。
本研究では,信念共鳴と能動的推論により,迅速かつ効率的なエージェント協調が可能であり,協調認知エージェントのビルディングブロックとして機能することを示す。
論文 参考訳(メタデータ) (2021-12-02T13:23:44Z) - Normative Disagreement as a Challenge for Cooperative AI [56.34005280792013]
典型的な協調誘導学習アルゴリズムは、問題の解決に協力することができないと論じる。
我々は,ノルム適応政策のクラスを開発し,これらが協調性を著しく向上させることを示す実験を行った。
論文 参考訳(メタデータ) (2021-11-27T11:37:42Z) - Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。
共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。
これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
論文 参考訳(メタデータ) (2021-04-15T20:14:19Z) - Balancing Rational and Other-Regarding Preferences in
Cooperative-Competitive Environments [4.705291741591329]
混合環境は利己的で社会的利益の衝突で悪名高い。
個人と社会的インセンティブのバランスをとるBAROCCOを提案します。
メタアルゴリズムは、Qラーニングとアクタークリティカルの両方のフレームワークと互換性があります。
論文 参考訳(メタデータ) (2021-02-24T14:35:32Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳(メタデータ) (2020-06-10T20:12:38Z) - On Emergent Communication in Competitive Multi-Agent Teams [116.95067289206919]
外部のエージェントチームによるパフォーマンスの競争が社会的影響として作用するかどうかを検討する。
以上の結果から,外部競争の影響により精度と一般化が向上し,コミュニケーション言語が急速に出現することが示唆された。
論文 参考訳(メタデータ) (2020-03-04T01:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。