論文の概要: Cooperation Without Shared Rewards via Reciprocal Q-Augmentation

• arxiv url: http://arxiv.org/abs/2610.24793v1
• Date: Sat, 17 Oct 2026 17:54:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 16:10:56.945234
• Title: Cooperation Without Shared Rewards via Reciprocal Q-Augmentation
• Title（参考訳）: 相互Q-Augmentationによる共有リワードのない協調
• Abstract要約: 汎用ゲームは、エージェントが互いに騙したり、搾取したりするため、完全に協調的あるいは敵対的な設定よりも難しい。 我々は、潜在変数の相手モデルを用いてQ関数を増大させる方法であるtextitReciprocal Q-Augmentation (RQA) を導入する。 我々は、社会ジレンマにおいて、RQAの協調政策に従うエージェントが、完全協調アルゴリズムよりも早く協力し、より高い協力レベルに達することを学習していることを示します。
• 参考スコア（独自算出の注目度）: 5.812668565935987
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: General-sum games are more challenging than fully cooperative or adversarial settings because agents may deceive or exploit one another. Achieving high social welfare requires sustained cooperation, while a single defection can drive agents toward a welfare suboptimal Nash equilibrium. Moreover, assuming access to other agents' rewards or internal states is often unrealistic and implicitly introduces additional cooperation into the setting. To address this issue, we introduce \textit{Reciprocal Q-Augmentation} (RQA), a method that uses a latent-variable opponent model to augment the Q-function with estimates of how one's actions affects other agents. RQA allows agents to learn both cooperative and defective policies using only their own Q-function. We show that, in social dilemmas, agents that all follow the cooperative policy of RQA learn to cooperate faster and reach higher levels of cooperation than fully cooperative algorithms. Moreover, a single RQA agent that switches appropriately between its cooperative and defecting policies can induce cooperation in agents trained with standard RL algorithms, which would otherwise end up defecting. We evaluate our approach on the Iterated Prisoner's Dilemma, Iterated Traveler's Dilemma, Iterated Stag Hunt, and \texttt{CleanUp-Lite}. Our experiments show that the algorithms implementing RQA outperforms fully cooperative methods with shared rewards and enables cooperation with algorithms that otherwise fail to reach high social welfare.
• Abstract（参考訳）: 汎用ゲームは、エージェントが互いに騙したり、搾取したりするため、完全に協調的あるいは敵対的な設定よりも難しい。 高い社会福祉を達成するためには、持続的な協力が必要であるが、単一の欠陥は、福祉的最適ナッシュ均衡に向けてエージェントを駆り立てることができる。 さらに、他のエージェントの報酬や内部状態へのアクセスは非現実的であり、暗黙的にこの設定にさらなる協力を導入する。 この問題に対処するために、潜在変数の相手モデルを用いてQ-関数を増大させる手法である「textit{Reciprocal Q-Augmentation} (RQA)」を導入する。 RQAは、エージェントが自身のQ関数のみを使用して協調的および欠陥的なポリシーを学習することを可能にする。 我々は、社会ジレンマにおいて、RQAの協調政策に従うエージェントが、完全協調アルゴリズムよりも早く協力し、より高い協力レベルに達することを学習していることを示します。 さらに、協調的なポリシーと欠陥ポリシーを適切に切り替える単一のRQAエージェントは、標準のRLアルゴリズムで訓練されたエージェントの協力を誘導することができる。 我々は, 反復囚人ジレンマ, 反復旅行者ジレンマ, 反復スタッグハント, および texttt{CleanUp-Lite} に対するアプローチを評価した。 実験の結果、RQAを実装するアルゴリズムは、共有報酬で完全に協調的な手法よりも優れており、そうでなければ高い社会福祉に到達できないアルゴリズムとの協調を可能にすることがわかった。

関連論文リスト

• Emergent Collusion in Long-Horizon LLM Agent Interaction [54.47975581249992]
  長距離マルチエージェント環境における衝突の発生について検討した。 検証プロトコルに違反するだけで高い報酬が達成できる現実的な制約を導入する。 衝突は10モデルにわたる軌道の94%で発生し、同じファミリー内のより有能なモデルがそれより早く到達する。
  論文  参考訳（メタデータ） (2026-09-21T17:52:48Z)
• More Capable, Less Cooperative? When LLMs Fail At Zero-Cost Collaboration [1.4254497466846006]
  我々は、摩擦のない環境下での協調行動について研究し、協力から全ての戦略的複雑さを取り除く。 私たちは、協力の失敗と能力の失敗を分離し、エージェント推論分析を通じてその起源を追跡します。 この結果から,マルチエージェントシステムにおける協調問題の解決は,インテリジェンスのスケーリングだけでは不可能であることが示唆された。
  論文  参考訳（メタデータ） (2026-04-09T05:24:27Z)
• Evaluating Generalization Capabilities of LLM-Based Agents in Mixed-Motive Scenarios Using Concordia [100.74015791021044]
  大規模言語モデル(LLM)エージェントは、社会的相互作用の素晴らしい能力を実証している。 既存の評価手法は、これらの能力がいかに新しい社会的状況に一般化するかを測ることに失敗する。 我々は,NeurIPS 2024 Concordia Contestで,エージェントが相互利得を達成する能力について評価した経験的結果を示す。
  論文  参考訳（メタデータ） (2025-12-03T00:11:05Z)
• ProAgent: Building Proactive Cooperative Agents with Large Language Models [89.53040828210945]
  ProAgentは、大規模な言語モデルを利用してプロアクティブエージェントを生成する新しいフレームワークである。 ProAgentは現状を分析し、チームメイトの意図を観察から推測することができる。 ProAgentは高度なモジュール化と解釈可能性を示し、様々な調整シナリオに容易に統合できる。
  論文  参考訳（メタデータ） (2023-08-22T10:36:56Z)
• Iterated Reasoning with Mutual Information in Cooperative and Byzantine Decentralized Teaming [0.0]
  我々は,政策グラディエント(PG)の下での最適化において,エージェントの方針がチームメイトの方針に準じることが,本質的に相互情報(MI)の下限を最大化することを示す。 我々の手法であるInfoPGは、創発的協調行動の学習におけるベースラインを上回り、分散協調型MARLタスクにおける最先端の課題を設定します。
  論文  参考訳（メタデータ） (2022-01-20T22:54:32Z)
• Normative Disagreement as a Challenge for Cooperative AI [56.34005280792013]
  典型的な協調誘導学習アルゴリズムは、問題の解決に協力することができないと論じる。 我々は,ノルム適応政策のクラスを開発し,これらが協調性を著しく向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2021-11-27T11:37:42Z)
• Interactive Inverse Reinforcement Learning for Cooperative Games [7.257751371276486]
  我々は、潜在的に最適でないパートナーと効果的に協力することを学ぶことができるAIエージェントを設計する問題について研究する。 この問題は、協調的な2エージェントのマルコフ決定プロセスとしてモデル化されている。 学習者の方針が遷移関数に有意な影響を及ぼす場合、報酬関数を効率的に学習できることが示される。
  論文  参考訳（メタデータ） (2021-11-08T18:24:52Z)
• Balancing Rational and Other-Regarding Preferences in Cooperative-Competitive Environments [4.705291741591329]
  混合環境は利己的で社会的利益の衝突で悪名高い。 個人と社会的インセンティブのバランスをとるBAROCCOを提案します。 メタアルゴリズムは、Qラーニングとアクタークリティカルの両方のフレームワークと互換性があります。
  論文  参考訳（メタデータ） (2021-02-24T14:35:32Z)
• Cooperative and Competitive Biases for Multi-Agent Reinforcement Learning [12.676356746752893]
  マルチエージェント強化学習(MARL)アルゴリズムのトレーニングは,単一エージェント強化学習アルゴリズムのトレーニングよりも難しい。 本稿では,他のエージェントの偏りのある行動情報を用いたMARL訓練を促進するアルゴリズムを提案する。 本アルゴリズムは, 多様な協調競合環境において, 既存のアルゴリズムを上回っていることを実証した。
  論文  参考訳（メタデータ） (2021-01-18T05:52:22Z)
• UneVEn: Universal Value Exploration for Multi-Agent Reinforcement Learning [53.73686229912562]
  我々はUniversal Value Exploration(UneVEn)と呼ばれる新しいMARLアプローチを提案する。 UneVEnは、一連の関連するタスクと、普遍的な後継機能の線形分解を同時に学習する。 一連の探索ゲームにおける実証的な結果、エージェント間の重要な調整を必要とする協調捕食・捕食作業への挑戦、およびStarCraft IIのマイクロマネジメントベンチマークは、UneVEnが他の最先端のMARLメソッドが失敗するタスクを解決できることを示している。
  論文  参考訳（メタデータ） (2020-10-06T19:08:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。