論文の概要: Reciprocal Reward Influence Encourages Cooperation From Self-Interested Agents
- arxiv url: http://arxiv.org/abs/2406.01641v1
- Date: Mon, 3 Jun 2024 06:07:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-05 21:21:41.846904
- Title: Reciprocal Reward Influence Encourages Cooperation From Self-Interested Agents
- Title(参考訳): 自己関心エージェントからの相互報酬効果の協調
- Authors: John L. Zhou, Weizhe Hong, Jonathan C. Kao,
- Abstract要約: 本稿では,リシプロエータ,強化学習エージェントを導入し,相手の行動がリターンに与える影響を再現する。
共用者は同時学習中に時間的に拡張された社会ジレンマの協力を促進するために使用できることを示す。
- 参考スコア(独自算出の注目度): 2.1301560294088318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emergent cooperation among self-interested individuals is a widespread phenomenon in the natural world, but remains elusive in interactions between artificially intelligent agents. Instead, na\"ive reinforcement learning algorithms typically converge to Pareto-dominated outcomes in even the simplest of social dilemmas. An emerging class of opponent-shaping methods have demonstrated the ability to reach prosocial outcomes by influencing the learning of other agents. However, they rely on higher-order derivatives through the predicted learning step of other agents or learning meta-game dynamics, which in turn rely on stringent assumptions over opponent learning rules or exponential sample complexity, respectively. To provide a learning rule-agnostic and sample-efficient alternative, we introduce Reciprocators, reinforcement learning agents which are intrinsically motivated to reciprocate the influence of an opponent's actions on their returns. This approach effectively seeks to modify other agents' $Q$-values by increasing their return following beneficial actions (with respect to the Reciprocator) and decreasing it after detrimental actions, guiding them towards mutually beneficial actions without attempting to directly shape policy updates. We show that Reciprocators can be used to promote cooperation in a variety of temporally extended social dilemmas during simultaneous learning.
- Abstract(参考訳): 利己的な個人間の創発的な協力は、自然界で広く見られる現象であるが、人工的に知的なエージェント間の相互作用においては、いまだ解明されていない。
代わりに、ナシブ強化学習アルゴリズムは一般的に、最も単純な社会的ジレンマにおいてもパレートに支配された結果に収束する。
対戦者形成手法の新たなクラスは、他のエージェントの学習に影響を与えることにより、社会的な結果に到達する能力を示している。
しかし、それらは他のエージェントの予測学習ステップやメタゲームダイナミクスの学習を通じて高階微分に依存しており、それぞれ反対の学習規則や指数的なサンプル複雑性よりも厳密な仮定に依存している。
学習ルールに依存しない、サンプル効率の良い代替手段として、本研究では、相手の行動がリターンに与える影響を、本質的に動機づける強化学習エージェントであるReciprocatorを導入する。
このアプローチは、他のエージェントのQ$値の変更を、(Reciprocatorに関して)有益なアクションの後にリターンを増やし、有害なアクションの後にそれを減らし、ポリシー更新を直接形作ることなく、相互に有益なアクションへと導くことによって効果的に求めている。
共用者は同時学習中に時間的に拡張された社会ジレンマの協力を促進するために使用できることを示す。
関連論文リスト
- RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。
提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。
このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
論文 参考訳(メタデータ) (2023-11-21T21:05:21Z) - Learning to Participate through Trading of Reward Shares [1.5484595752241124]
我々は、他のエージェントのリターンに参加する機会を、報酬の取得によって得られる、株式市場にインスパイアされた手法を提案する。
直感的には、エージェントは、他のエージェントの報酬に直接影響を受けるとき、共通の関心に応じて行動することを学ぶことができる。
論文 参考訳(メタデータ) (2023-01-18T10:25:55Z) - Influencing Long-Term Behavior in Multiagent Reinforcement Learning [59.98329270954098]
時間的アプローチが無限に近づくと、他のエージェントの制限ポリシーを考えるための原則的枠組みを提案する。
具体的には、各エージェントの行動が他のエージェントが行うポリシーの制限セットに与える影響を直接考慮し、各エージェントの平均報酬を最大化する新しい最適化目標を開発する。
我々の遠視評価により、様々な領域における最先端のベースラインよりも長期的性能が向上した。
論文 参考訳(メタデータ) (2022-03-07T17:32:35Z) - Deception in Social Learning: A Multi-Agent Reinforcement Learning
Perspective [0.0]
本研究は、問題ステートメントを導入し、重要な概念を定義し、既存の証拠を批判的に評価し、今後の研究で解決すべき課題に対処する。
マルチエージェント強化学習(Multi-Agent Reinforcement Learning)の枠組みの中で、ソーシャルラーニング(Social Learning)は、エージェントが他のエージェントの報酬機能を再形成することを可能にする新しいアルゴリズムのクラスである。
論文 参考訳(メタデータ) (2021-06-09T21:34:11Z) - Persistent Rule-based Interactive Reinforcement Learning [0.5999777817331317]
現在の対話型強化学習研究は、現在の状態にのみ関連するアドバイスを提供する相互作用に限られている。
本稿では,ルールに基づく対話型強化学習手法,すなわち,提供された知識の保持と再利用のための手法を提案する。
実験の結果,持続的アドバイスはエージェントの性能を著しく向上させるとともに,トレーナーに必要なインタラクションの数を減らすことができることがわかった。
論文 参考訳(メタデータ) (2021-02-04T06:48:57Z) - Deep Interactive Bayesian Reinforcement Learning via Meta-Learning [63.96201773395921]
他のエージェントの戦略に対する不確実性下での最適適応行動は、インタラクティブベイズ強化学習フレームワークを用いて計算することができる。
本稿では,メタラーン近似的信念推論とベイズ最適行動を提案する。
提案手法は, モデルフリーアプローチ, 近似後部からのサンプル採取, 他者のメモリフリーモデル維持, あるいは環境の既知の構造を完全に活用しない既存手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-01-11T13:25:13Z) - Learning Latent Representations to Influence Multi-Agent Interaction [65.44092264843538]
エージェントのポリシーの潜在表現を学習するための強化学習に基づくフレームワークを提案する。
提案手法は代替手段よりも優れており,他のエージェントに影響を与えることを学習している。
論文 参考訳(メタデータ) (2020-11-12T19:04:26Z) - Learning to Incentivize Other Learning Agents [73.03133692589532]
我々は、学習インセンティブ関数を用いて、RLエージェントに他のエージェントに直接報酬を与える能力を持たせる方法を示す。
このようなエージェントは、一般的なマルコフゲームにおいて、標準のRLと対戦型エージェントを著しく上回っている。
私たちの仕事は、マルチエージェントの未来において共通の善を確実にする道のりに沿って、より多くの機会と課題を指しています。
論文 参考訳(メタデータ) (2020-06-10T20:12:38Z) - Multi-Issue Bargaining With Deep Reinforcement Learning [0.0]
本稿では,バーゲティングゲームにおける深層強化学習の活用について検討する。
入札と受け入れ戦略のために2つのアクター・クリティカル・ネットワークが訓練された。
ニューラルエージェントは時間ベースのエージェントを活用することを学び、決定優先値の明確な遷移を達成する。
彼らはまた、譲歩、割引要因、行動に基づく戦略の異なる組み合わせに対して適応的な行動を示す。
論文 参考訳(メタデータ) (2020-02-18T18:33:46Z) - Intrinsic Motivation for Encouraging Synergistic Behavior [55.10275467562764]
スパース・リワード・シナジスティック・タスクにおける強化学習の探索バイアスとしての本質的モチベーションの役割について検討した。
私たちのキーとなる考え方は、シナジスティックなタスクにおける本質的なモチベーションのための優れた指針は、エージェントが自分自身で行動している場合、達成できない方法で世界に影響を与える行動を取ることである。
論文 参考訳(メタデータ) (2020-02-12T19:34:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。