論文の概要: Multi-agent cooperation through learning-aware policy gradients

• arxiv url: http://arxiv.org/abs/2410.18636v1
• Date: Thu, 24 Oct 2024 10:48:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 16:43:44.273577
• Title: Multi-agent cooperation through learning-aware policy gradients
• Title（参考訳）: 学習・認識政策勾配によるマルチエージェント協調
• Authors: Alexander Meulemans, Seijin Kobayashi, Johannes von Oswald, Nino Scherrer, Eric Elmoznino, Blake Richards, Guillaume Lajoie, Blaise Agüera y Arcas, João Sacramento,
• Abstract要約: 利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。 本稿では,学習型強化学習のための,偏見のない高導出性ポリシー勾配アルゴリズムを提案する。 我々は, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかの新たな説明を得た。
• 参考スコア（独自算出の注目度）: 53.63948041506278
• License:
• Abstract: Self-interested individuals often fail to cooperate, posing a fundamental challenge for multi-agent learning. How can we achieve cooperation among self-interested, independent learning agents? Promising recent work has shown that in certain tasks cooperation can be established between learning-aware agents who model the learning dynamics of each other. Here, we present the first unbiased, higher-derivative-free policy gradient algorithm for learning-aware reinforcement learning, which takes into account that other agents are themselves learning through trial and error based on multiple noisy trials. We then leverage efficient sequence models to condition behavior on long observation histories that contain traces of the learning dynamics of other agents. Training long-context policies with our algorithm leads to cooperative behavior and high returns on standard social dilemmas, including a challenging environment where temporally-extended action coordination is required. Finally, we derive from the iterated prisoner's dilemma a novel explanation for how and when cooperation arises among self-interested learning-aware agents.
• Abstract（参考訳）: 利己的な個人はしばしば協力に失敗し、マルチエージェント学習の根本的な課題を提起する。 自己関心のある独立した学習エージェントの協力をどうやって達成できるのか? 近年の研究では、学習ダイナミクスをモデル化する学習エージェント間で、特定のタスクの協調が確立できることが示されている。 本稿では,複数のノイズのある試行に基づいて,他のエージェントが試行錯誤を通じて学習していることを考慮し,非バイアスで高導出度なポリシー勾配アルゴリズムを提案する。 次に、他のエージェントの学習力学の痕跡を含む長い観測履歴の条件行動に効率的なシーケンスモデルを利用する。 我々のアルゴリズムによる長期的ポリシーの訓練は、時間的に延長された行動調整を必要とする困難な環境を含む、標準的な社会的ジレンマに対する協調行動と高いリターンをもたらす。 最後に, 受刑者のジレンマから, 自己関心のある学習エージェントの間でどのように, いつ, 協力関係が生じるかを説明する。

関連論文リスト

• Reciprocal Reward Influence Encourages Cooperation From Self-Interested Agents [2.1301560294088318]
  自己関心の個人間の協力は、自然界で広く見られる現象であるが、人工的な知的エージェント間の相互作用においては、いまだ解明されていない。 そこで,本研究では,リターンに対する相手の行動の影響を再現するために,本質的に動機づけられた強化学習エージェントであるReciprocatorを紹介する。 本研究では,同時学習において,時間的に拡張された社会的ジレンマにおける協調を促進するために,共用者が利用できることを示す。
  論文  参考訳（メタデータ） (2024-06-03T06:07:27Z)
• Enhancing Cooperation through Selective Interaction and Long-term Experiences in Multi-Agent Reinforcement Learning [10.932974027102619]
  本研究では,空間的囚人のジレンマゲームにおけるマルチエージェント強化学習に基づく計算フレームワークを提案する。 2つの異なるQ-ネットを用いて各エージェントをモデル化することにより、協調と相互作用の共進化ダイナミクスを解き放つ。
  論文  参考訳（メタデータ） (2024-05-04T12:42:55Z)
• Decentralized and Lifelong-Adaptive Multi-Agent Collaborative Learning [57.652899266553035]
  分散型および生涯適応型多エージェント協調学習は、中央サーバを使わずに複数のエージェント間のコラボレーションを強化することを目的としている。 動的協調グラフを用いた分散マルチエージェント生涯協調学習アルゴリズムであるDeLAMAを提案する。
  論文  参考訳（メタデータ） (2024-03-11T09:21:11Z)
• Peer Learning: Learning Complex Policies in Groups from Scratch via Action Recommendations [16.073203911932872]
  ピアラーニングは、グループで学ぶエージェントのための新しい高度な強化学習フレームワークである。 ピアラーニングは,OpenAI Gymドメインのいくつかの課題において,単一エージェント学習とベースラインを上回り得ることを示す。
  論文  参考訳（メタデータ） (2023-12-15T17:01:35Z)
• Incremental procedural and sensorimotor learning in cognitive humanoid robots [52.77024349608834]
  本研究は,手順を段階的に学習する認知エージェントを提案する。 各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。 結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
  論文  参考訳（メタデータ） (2023-04-30T22:51:31Z)
• You Only Live Once: Single-Life Reinforcement Learning [124.1738675154651]
  多くの現実世界の状況では、そのタスクを繰り返し実行できるポリシーを学ぶことではなく、単一のトライアルで1回だけ新しいタスクを成功させることが目的である。 エージェントが介入なしにひとつのエピソード内でタスクを完了しなければならない問題設定を形式化する。 本稿では,分散マッチング戦略を用いたQ$-weighted adversarial Learning (QWALE)を提案する。
  論文  参考訳（メタデータ） (2022-10-17T09:00:11Z)
• Intrinsic fluctuations of reinforcement learning promote cooperation [0.0]
  社会的ジレンマの状況における協力は、動物、人間、機械にとって不可欠である。 マルチエージェント・ラーニング・セッティングの個々の要素が協調にどのように寄与するかを実証する。
  論文  参考訳（メタデータ） (2022-09-01T09:14:47Z)
• Deep Reinforcement Learning for Multi-Agent Interaction [14.532965827043254]
  自律エージェント研究グループは、自律システム制御のための新しい機械学習アルゴリズムを開発した。 本稿では,現在進行中の研究ポートフォリオの概要を概説するとともに,今後の課題について論じる。
  論文  参考訳（メタデータ） (2022-08-02T21:55:56Z)
• Multi-Agent Imitation Learning with Copulas [102.27052968901894]
  マルチエージェント模倣学習は、観察と行動のマッピングを学習することで、デモからタスクを実行するために複数のエージェントを訓練することを目的としている。 本稿では,確率変数間の依存を捉える強力な統計ツールである copula を用いて,マルチエージェントシステムにおける相関関係と協調関係を明示的にモデル化する。 提案モデルでは,各エージェントの局所的行動パターンと,エージェント間の依存構造のみをフルにキャプチャするコプラ関数を別々に学習することができる。
  論文  参考訳（メタデータ） (2021-07-10T03:49:41Z)
• Multi-Agent Interactions Modeling with Correlated Policies [53.38338964628494]
  本稿では,マルチエージェントインタラクションモデリング問題をマルチエージェント模倣学習フレームワークに実装する。 相関ポリシー(CoDAIL)を用いた分散型適応模倣学習アルゴリズムの開発 様々な実験により、CoDAILはデモレーターに近い複雑な相互作用をより良く再生できることが示されている。
  論文  参考訳（メタデータ） (2020-01-04T17:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。