論文の概要: Emergent Cooperation under Uncertain Incentive Alignment

• arxiv url: http://arxiv.org/abs/2401.12646v1
• Date: Tue, 23 Jan 2024 10:55:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-24 16:08:53.182817
• Title: Emergent Cooperation under Uncertain Incentive Alignment
• Title（参考訳）: 不確かさによる創発的協調
• Authors: Nicole Orzan, Erman Acar, Davide Grossi, Roxana R\u{a}dulescu
• Abstract要約: 頻繁な出会いを特徴とするシナリオにおける強化学習エージェント間の協力関係について検討する。 本研究では,複合モチベーション環境における協調を促進するために文献で提案されている評価や本質的な報酬などのメカニズムの効果について検討する。
• 参考スコア（独自算出の注目度）: 7.906156032228933
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the emergence of cooperation in systems of computational agents is crucial for the development of effective cooperative AI. Interaction among individuals in real-world settings are often sparse and occur within a broad spectrum of incentives, which often are only partially known. In this work, we explore how cooperation can arise among reinforcement learning agents in scenarios characterised by infrequent encounters, and where agents face uncertainty about the alignment of their incentives with those of others. To do so, we train the agents under a wide spectrum of environments ranging from fully competitive, to fully cooperative, to mixed-motives. Under this type of uncertainty we study the effects of mechanisms, such as reputation and intrinsic rewards, that have been proposed in the literature to foster cooperation in mixed-motives environments. Our findings show that uncertainty substantially lowers the agents' ability to engage in cooperative behaviour, when that would be the best course of action. In this scenario, the use of effective reputation mechanisms and intrinsic rewards boosts the agents' capability to act nearly-optimally in cooperative environments, while greatly enhancing cooperation in mixed-motive environments as well.
• Abstract（参考訳）: 計算エージェントのシステムにおける協調の出現を理解することは、効果的な協調AIの開発に不可欠である。 現実の環境での個人間の相互作用はしばしばスパースであり、インセンティブの範囲内で起こるが、それは部分的にしか知られていない。 本研究では,不適切な出会いによって特徴づけられるシナリオにおいて,強化学習エージェント間の協調がいかに生じ得るか,また,エージェントがインセンティブと他人のインセンティブの連携について不確実性に直面するかを検討する。 そこで我々は,完全競争から完全協調,混合動機に至るまで,幅広い環境下でエージェントを訓練する。 このような不確実性の下では,混合モチベーション環境における協調を促進するために文献で提案されている評価や内在的な報酬などのメカニズムの効果について検討する。 以上の結果から,不確実性はエージェントの協調行動への関与能力を大幅に低下させることが明らかとなった。 このシナリオでは、効果的な評価機構と本質的な報酬の使用により、エージェントが協調環境でほぼ最適に行動する能力が向上し、混合モチベーション環境での協力も大幅に向上する。

関連論文リスト

• Learning to Balance Altruism and Self-interest Based on Empathy in Mixed-Motive Games [47.8980880888222]
  マルチエージェントのシナリオは、しばしば混合モチベーションを伴い、潜在的な搾取に対する自己保護が可能な利他的エージェントを要求する。 共感に基づくアルトリズムと自己利益のバランスをとるためのLASE学習を提案する。 LASEはその報酬の一部を共同プレイヤにギフトとして割り当て、このアロケーションは社会的関係に基づいて動的に適応する。
  論文  参考訳（メタデータ） (2024-10-10T12:30:56Z)
• Cognitive Insights and Stable Coalition Matching for Fostering Multi-Agent Cooperation [6.536780912510439]
  本稿では,ToMレベルの異なるエージェントの強度を利用する新しい連立機構を提案する。 我々の研究は、ToMを活用して、より高度で人間らしいコーディネーション戦略を構築する可能性を実証しています。
  論文  参考訳（メタデータ） (2024-05-28T10:59:33Z)
• Situation-Dependent Causal Influence-Based Cooperative Multi-agent Reinforcement Learning [18.054709749075194]
  我々は、状況依存因果関係に基づく協調マルチエージェント強化学習(SCIC)という新しいMARLアルゴリズムを提案する。 本研究の目的は,特定の状況におけるエージェント間因果関係の影響を,因果介入と条件付き相互情報を用いて検出することである。 結果として得られたアップデートは、協調した探索と本質的な報酬分布をリンクし、全体的なコラボレーションとパフォーマンスを高めた。
  論文  参考訳（メタデータ） (2023-12-15T05:09:32Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• AgentVerse: Facilitating Multi-Agent Collaboration and Exploring Emergent Behaviors [93.38830440346783]
  本稿では,その構成をより高機能なシステムとして協調的に調整できるマルチエージェントフレームワークを提案する。 実験により,フレームワークが単一エージェントより優れたマルチエージェントグループを効果的に展開できることが実証された。 これらの振舞いの観点から、我々は、ポジティブなものを活用し、ネガティブなものを緩和し、マルチエージェントグループの協調可能性を改善するためのいくつかの戦略について議論する。
  論文  参考訳（メタデータ） (2023-08-21T16:47:11Z)
• Investigating the Impact of Direct Punishment on the Emergence of Cooperation in Multi-Agent Reinforcement Learning Systems [2.4555276449137042]
  協力の問題は、人間社会の中で一様である。 AIの利用が社会全体に広まるにつれ、社会的にインテリジェントなエージェントの必要性がますます明白になりつつある。 本稿では, 直接罰, 第三者罰, パートナー選択, 評判に関連する行動と学習のダイナミクスを包括的に分析し, 評価する。
  論文  参考訳（メタデータ） (2023-01-19T19:33:54Z)
• The art of compensation: how hybrid teams solve collective risk dilemmas [6.081979963786028]
  適応剤と固定行動剤を併用したハイブリッド集団における協調の進化的ダイナミクスについて検討した。 後者の振る舞いを補うために,まず,行動に適応することを学ぶ方法を示す。
  論文  参考訳（メタデータ） (2022-05-13T13:23:42Z)
• Normative Disagreement as a Challenge for Cooperative AI [56.34005280792013]
  典型的な協調誘導学習アルゴリズムは、問題の解決に協力することができないと論じる。 我々は,ノルム適応政策のクラスを開発し,これらが協調性を著しく向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-27T11:37:42Z)
• Joint Attention for Multi-Agent Coordination and Social Learning [108.31232213078597]
  共同注意がマルチエージェント協調とソーシャルラーニングを改善するメカニズムとして有用であることを示す。 共同の注意は、複数の環境にまたがる競争集中型批評家のベースラインよりも高いパフォーマンスをもたらす。 これらの結果から,共同注意は多エージェント学習に有用な帰納的バイアスである可能性が示唆された。
  論文  参考訳（メタデータ） (2021-04-15T20:14:19Z)
• Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments [4.705291741591329]
  混合環境は利己的で社会的利益の衝突で悪名高い。 個人と社会的インセンティブのバランスをとるBAROCCOを提案します。 メタアルゴリズムは、Qラーニングとアクタークリティカルの両方のフレームワークと互換性があります。
  論文  参考訳（メタデータ） (2021-02-24T14:35:32Z)
• Learning to Incentivize Other Learning Agents [73.03133692589532]
  我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。 このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。 私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
  論文  参考訳（メタデータ） (2020-06-10T20:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。