論文の概要: Self-Referenced Social Preferences: Cooperation without Observing Others Rewards

• arxiv url: http://arxiv.org/abs/2610.07881v1
• Date: Tue, 06 Oct 2026 07:29:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.867548
• Title: Self-Referenced Social Preferences: Cooperation without Observing Others Rewards
• Title（参考訳）: 自己参照型社会的嗜好:他者への反省を伴わない協力
• Abstract要約: 社会的嗜好は、マルチエージェント強化学習における協力を促進することができる。 自己参照型社会的嗜好を導入し、各エージェントが自身の報酬のモデルを学ぶ。 これらの評価を組み込むには,学習報酬を変更するか,政策更新の重み付けに使用するかの2つの方法を検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Social preferences can promote cooperation in multi-agent reinforcement learning, but existing approaches often require agents to observe the rewards of their peers. In many real-world interactions, however, an agent can, as humans do, observe others' behavior and outcomes without access to their private reward signals. We introduce self-referenced social preferences, in which each agent learns a model of its own reward, applies it to other agents' observed transitions to assess their outcomes from its own perspective, and feeds these self-referenced assessments into standard social preferences. We study two ways to incorporate these assessments: modifying the learning reward, or using them to weight policy updates. We evaluate the approach on three sequential social dilemmas, Escape Room, Clean Up, and Commons Harvest, which require volunteering, public-good contribution, and resource restraint, respectively. Across all three environments, agents learn cooperative behavior without observing others' rewards, including in settings where independent learners fail to cooperate, and frequently achieve more equitable divisions of jointly produced returns than agents with access to true rewards. The effective integration point depends on the social preference: inequity aversion works best in the reward together with a value look-ahead, whereas a purely benevolent preference benefits from policy-update weighting. Under partial observability, the policy-update approach continues to support cooperation. These results show that explicit access to other agents' reward signals is not necessary for learning cooperative behavior: social preferences can instead be grounded in self-referenced assessments of others' outcomes derived from their observed behavior.
• Abstract（参考訳）: 社会的嗜好は、マルチエージェント強化学習における協力を促進することができるが、既存のアプローチでは、エージェントが仲間の報酬を観察する必要があることが多い。 しかし、現実世界の多くの相互作用において、エージェントは、人間がしているように、個人の報酬信号にアクセスすることなく、他人の行動や成果を観察することができる。 自己参照型社会的嗜好を導入し、各エージェントが自身の報酬のモデルを学び、それを他のエージェントの観察された遷移に適用し、自己参照型社会的嗜好を標準的社会的嗜好にフィードする。 これらの評価を組み込むには,学習報酬を変更するか,政策更新の重み付けに使用するかの2つの方法を検討する。 本研究では,3つの社会的ジレンマ(エスケープルーム,クリーンアップ,コモンズハーベスト)に対するアプローチを評価する。 3つの環境全体にわたって、エージェントは他人の報酬を観察せずに協調行動を学ぶ。例えば、独立した学習者が協力できないような環境では、真の報酬を受けるエージェントよりも、共同生産されたリターンの公平な分割を頻繁に達成する。 効果的な統合ポイントは、社会的嗜好に依存している:不平等回避は、価値のルックアヘッドと共に報酬において最もうまく機能する一方、純粋に好意的な嗜好は、政策更新重み付けによる利益である。 部分的な可観測性の下では、政策更新アプローチは協力をサポートし続けている。 これらの結果から,他エージェントの報酬信号への明示的なアクセスは協調行動の学習には必要ないことが示唆された。

関連論文リスト

• Integrated Altruistic and Fairness Preference Induces Advanced Mutual Cooperation in Sequential Social Dilemmas [4.290615174131893]
  Altruistic and Fairness Preference (AFP)は、自己と他人の報酬を協調行動のためのインセンティブに変換する報酬共有メカニズムである。 AFPエージェントは、ベースラインよりも集団報酬とより高い株式との相互協力を成功裏に達成したことを示す。 その結果、利他主義的な嗜好は、エージェントが公共財に貢献することを奨励し、公正な嗜好はエージェント間の相互行動を引き起こすことが示唆された。
  論文  参考訳（メタデータ） (2026-07-06T06:26:43Z)
• Achieving Collective Welfare in Multi-Agent Reinforcement Learning via Suggestion Sharing [12.167248367980449]
  自己利益と集団福祉の対立は、しばしば共有福祉を達成する努力を妨げる。 この問題に対処する新しいマルチエージェント強化学習法(MARL)を提案する。 報酬、価値、ポリシーを共有する従来の協調型MARLソリューションとは異なり、エージェントがアクション提案を交換する新しいMARLアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-16T19:44:44Z)
• Learning to Balance Altruism and Self-interest Based on Empathy in Mixed-Motive Games [47.8980880888222]
  マルチエージェントのシナリオは、しばしば混合モチベーションを伴い、潜在的な搾取に対する自己保護が可能な利他的エージェントを要求する。 共感に基づくアルトリズムと自己利益のバランスをとるためのLASE学習を提案する。 LASEはその報酬の一部を共同プレイヤにギフトとして割り当て、このアロケーションは社会的関係に基づいて動的に適応する。
  論文  参考訳（メタデータ） (2024-10-10T12:30:56Z)
• Reciprocal Reward Influence Encourages Cooperation From Self-Interested Agents [2.1301560294088318]
  自己関心の個人間の協力は、自然界で広く見られる現象であるが、人工的な知的エージェント間の相互作用においては、いまだ解明されていない。 そこで,本研究では,リターンに対する相手の行動の影響を再現するために,本質的に動機づけられた強化学習エージェントであるReciprocatorを紹介する。 本研究では,同時学習において,時間的に拡張された社会的ジレンマにおける協調を促進するために,共用者が利用できることを示す。
  論文  参考訳（メタデータ） (2024-06-03T06:07:27Z)
• Flexible social inference facilitates targeted social learning when rewards are not observable [58.762004496858836]
  グループは、個人が他人の成功から学べるときにより効果的にコーディネートする。 社会的推論能力は、このギャップを埋める助けとなり、個人が他人の基本的な知識に対する信念を更新し、観察可能な行動軌跡から成功することを示唆する。
  論文  参考訳（メタデータ） (2022-12-01T21:04:03Z)
• Aligning to Social Norms and Values in Interactive Narratives [89.82264844526333]
  我々は、インタラクティブな物語やテキストベースのゲームにおいて、社会的に有益な規範や価値観に沿って行動するエージェントを作成することに注力する。 我々は、特別な訓練を受けた言語モデルに存在する社会的コモンセンス知識を用いて、社会的に有益な値に整合した行動にのみ、その行動空間を文脈的に制限するGAALADエージェントを紹介した。
  論文  参考訳（メタデータ） (2022-05-04T09:54:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。