論文の概要: Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2302.00797v1
• Date: Wed, 1 Feb 2023 23:06:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-02-03 15:48:58.177593
• Title: Combining Tree-Search, Generative Models, and Nash Bargaining Concepts in Game-Theoretic Reinforcement Learning
• Title（参考訳）: ゲーム理論強化学習における木探索,生成モデル,ナッシュ交渉概念の組み合わせ
• Authors: Zun Li, Marc Lanctot, Kevin R. McKee, Luke Marris, Ian Gemp, Daniel Hennes, Paul Muller, Kate Larson, Yoram Bachrach, Michael P. Wellman
• Abstract要約: ポリシー空間対応 Oracleは標準強化学習を使ってレスポンスポリシーを計算している。 ナッシュバリ取り解法に基づく2つのメタストラテジー解法を導入する。 生成的モデリングによる探索は、トレーニング時間とテスト時間の両方において、より強力なポリシーを見出す。
• 参考スコア（独自算出の注目度）: 34.21747345063115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiagent reinforcement learning (MARL) has benefited significantly from population-based and game-theoretic training regimes. One approach, Policy-Space Response Oracles (PSRO), employs standard reinforcement learning to compute response policies via approximate best responses and combines them via meta-strategy selection. We augment PSRO by adding a novel search procedure with generative sampling of world states, and introduce two new meta-strategy solvers based on the Nash bargaining solution. We evaluate PSRO's ability to compute approximate Nash equilibrium, and its performance in two negotiation games: Colored Trails, and Deal or No Deal. We conduct behavioral studies where human participants negotiate with our agents ($N = 346$). We find that search with generative modeling finds stronger policies during both training time and test time, enables online Bayesian co-player prediction, and can produce agents that achieve comparable social welfare negotiating with humans as humans trading among themselves.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)は、人口ベースおよびゲーム理論のトレーニング体制から大きな恩恵を受けている。 Policy-Space Response Oracles (PSRO) というアプローチでは、標準的な強化学習を使用して、最も近いレスポンスを通じてレスポンスポリシーを計算し、メタストラテジー選択を通じてそれらを組み合わせている。 我々は,世界を生成的にサンプリングする新たなサーチ手順を追加することでPSROを強化し,ナッシュバーゲインソリューションに基づく2つのメタストラテジー解法を導入する。 我々は,PSROの近似ナッシュ均衡計算能力と2つのネゴシエーションゲーム(Colored Trails,Deal or No Deal)のパフォーマンスを評価する。 我々は、人間の参加者がエージェントと交渉する行動研究を行う(N = 346$)。 生成的モデリングによる検索は、トレーニング時間とテスト時間の両方において強力なポリシーを見つけ、オンラインベイズの共同プレイヤー予測を可能にし、人間との取引として人間と同等の社会福祉を実現するエージェントを生み出すことができる。

関連論文リスト

• Multi-Step Alignment as Markov Games: An Optimistic Online Gradient Descent Approach with Convergence Guarantees [91.88803125231189]
  Reinforcement Learning from Human Feedback (RLHF) は、大きな言語モデルと人間の好みを合わせることに成功している。 DPOのような一般的な手法は高い性能を示してきたが、彼らは言語モデルとの相互作用を帯域幅の問題として捉えている。 本稿では,アライメント問題を2プレイヤー定数マルコフゲームとしてモデル化することで,これらの課題に対処する。
  論文  参考訳（メタデータ） (2025-02-18T09:33:48Z)
• Multi-agent Multi-armed Bandits with Stochastic Sharable Arm Capacities [69.34646544774161]
  我々は、各アームへのリクエストの到着とプレイヤーへのリクエストの割り当てポリシーをキャプチャするマルチプレイヤーマルチアーム・バンディット(MAB)モデルの新しいバリエーションを定式化する。 課題は、プレイヤーが最適な腕引きプロファイルに従って腕を選択するように分散学習アルゴリズムを設計する方法である。 我々は,Mラウンドのみの最適腕引きプロファイルにおいて,プレイヤーがコンセンサスに達することを保証した反復分散アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-08-20T13:57:00Z)
• Iterative Nash Policy Optimization: Aligning LLMs with General Preferences via No-Regret Learning [55.65738319966385]
  我々は、新しいオンラインアルゴリズム、反復的ナッシュポリシー最適化(INPO)を提案する。 従来の方法とは異なり、INPOは個々の応答に対する期待される勝利率を推定する必要性を回避している。 LLaMA-3-8BベースのSFTモデルで、INPOはAlpacaEval 2.0で42.6%、Arena-Hardで37.8%の勝利率を達成した。
  論文  参考訳（メタデータ） (2024-06-30T08:00:34Z)
• Toward Optimal LLM Alignments Using Two-Player Games [86.39338084862324]
  本稿では,対戦相手と防御エージェントの反復的相互作用を含む2エージェントゲームのレンズによるアライメントについて検討する。 この反復的強化学習最適化がエージェントによって誘導されるゲームに対するナッシュ平衡に収束することを理論的に実証する。 安全シナリオにおける実験結果から、このような競争環境下での学習は、完全に訓練するエージェントだけでなく、敵エージェントと防御エージェントの両方に対する一般化能力の向上したポリシーにつながることが示されている。
  論文  参考訳（メタデータ） (2024-06-16T15:24:50Z)
• Best Response Shaping [1.0874100424278175]
  LOLAとPOLAのエージェントは、相手のルックアヘッド最適化ステップを通じて、相互性に基づく協調政策を区別することで学習する。 彼らはいくつかの最適化ステップを考慮するので、そのリターンを最適化するために多くのステップを踏む学習相手がそれらを活用できるかもしれない。 そこで本研究では,Best Response Shaping (BRS) という新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-04-05T22:03:35Z)
• A Minimaximalist Approach to Reinforcement Learning from Human Feedback [49.45285664482369]
  人間のフィードバックから強化学習を行うアルゴリズムとして,SPO(Self-Play Preference Optimization)を提案する。 我々のアプローチは、報酬モデルや不安定な敵の訓練を必要としないという点で最小主義である。 我々は,一連の継続的制御タスクにおいて,報酬モデルに基づくアプローチよりもはるかに効率的に学習できることを実証した。
  論文  参考訳（メタデータ） (2024-01-08T17:55:02Z)
• Nash Learning from Human Feedback [86.09617990412941]
  ペアワイズフィードバックを用いた大規模言語モデルの微調整のための代替パイプラインを提案する。 我々はこのアプローチを人間のフィードバックからナッシュラーニング(NLHF)と呼ぶ。 ミラー降下原理に基づく新しいアルゴリズム解であるNash-MDを提案する。
  論文  参考訳（メタデータ） (2023-12-01T19:26:23Z)
• Population-based Evaluation in Repeated Rock-Paper-Scissors as a Benchmark for Multiagent Reinforcement Learning [14.37986882249142]
  簡単なゲームRock, Paper, Scissorsの繰り返しプレイに基づくマルチエージェント学習のためのベンチマークを提案する。 平均リターンとエクスプロイラビリティの両方に基づいて,エージェントの品質を測定するための指標について述べる。
  論文  参考訳（メタデータ） (2023-03-02T15:06:52Z)
• Double Deep Q-Learning in Opponent Modeling [0.0]
  競合するアジェンダを持つ二次エージェントがメソッドを変更するマルチエージェントシステムも、反対のモデリングを必要とする。 本研究では、Double Deep Q-Networks (DDQN) を用いて、メインエージェントとセカンダリエージェントの戦術をシミュレートする。 対戦型モデリング設定では、様々な対戦型戦略パターンを特定するためにMixture-of-Expertsアーキテクチャが使用される。
  論文  参考訳（メタデータ） (2022-11-24T06:07:47Z)
• Human-AI Coordination via Human-Regularized Search and Learning [33.95649252941375]
  我々は,ハナビベンチマークにおいて,実際の人間と協調する上で高い性能を達成する3段階のアルゴリズムを開発した。 まず、正規化された検索アルゴリズムと行動クローンを用いて、多様なスキルレベルをキャプチャする優れた人間モデルを作成します。 本手法は, 2人のエージェントと繰り返しプレイすることで, 行動的クローン化基準に対するバニラの最良の応答を達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-11T03:46:12Z)
• Reinforcement Learning Agents in Colonel Blotto [0.0]
  エージェントベースモデルの特定の例に着目し、強化学習(RL)を用いてエージェントの環境における行動の訓練を行う。 我々はRLエージェントが1つの対戦相手を手動で打ち負かし、対戦相手の数が増えると依然として非常によく機能することを示した。 また、RLエージェントを解析し、最も高いQ値と低いQ値を与えるアクションを見て、どのような戦略が到達したかを調べる。
  論文  参考訳（メタデータ） (2022-04-04T16:18:01Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• Reinforcement Learning In Two Player Zero Sum Simultaneous Action Games [0.0]
  2人のプレイヤーのゼロサム同時アクションゲームは、ビデオゲーム、金融市場、戦争、ビジネスコンペティション、その他多くの設定で一般的である。 本稿では,2人のプレイヤーのゼロサム同時アクションゲームにおける強化学習の基本概念を紹介し,このタイプのゲームがもたらすユニークな課題について論じる。 本稿では,これらの課題に対処する新たなエージェントを2つ紹介する。
  論文  参考訳（メタデータ） (2021-10-10T16:03:44Z)
• Collective eXplainable AI: Explaining Cooperative Strategies and Agent Contribution in Multiagent Reinforcement Learning with Shapley Values [68.8204255655161]
  本研究は,シェープリー値を用いたマルチエージェントRLにおける協調戦略を説明するための新しい手法を提案する。 結果は、差別的でない意思決定、倫理的かつ責任あるAI由来の意思決定、公正な制約の下での政策決定に影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2021-10-04T10:28:57Z)
• Influence-based Reinforcement Learning for Intrinsically-motivated Agents [0.0]
  2つの強化学習エージェントのアルゴリズム的枠組みをそれぞれ異なる目的で提示する。 我々は,ある政策が他者に与える影響を評価するために,新たな関数近似手法を導入する。 本手法は,オープンAI体育館における課題と,協調的・混合的なシナリオについて検討した。
  論文  参考訳（メタデータ） (2021-08-28T05:36:10Z)
• L2E: Learning to Exploit Your Opponent [66.66334543946672]
  本稿では,暗黙的対向モデリングのための新しい学習フレームワークを提案する。 L2Eは、トレーニング中に異なる相手との対話によって、相手を悪用する能力を取得する。 本稿では, 対戦相手を自動的に生成する新しい対戦相手戦略生成アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-18T14:27:59Z)
• Learning to Play Sequential Games versus Unknown Opponents [93.8672371143881]
  学習者が最初にプレーするゲームと、選択した行動に反応する相手との連続的なゲームについて考察する。 対戦相手の対戦相手列と対戦する際,学習者に対して新しいアルゴリズムを提案する。 我々の結果には、相手の反応の正則性に依存するアルゴリズムの後悔の保証が含まれている。
  論文  参考訳（メタデータ） (2020-07-10T09:33:05Z)
• Learning to Model Opponent Learning [11.61673411387596]
  マルチエージェント強化学習(MARL: Multi-Agent Reinforcement Learning)は、一組の共存エージェントが相互とその環境と相互作用する設定を考える。 これは、通常、収束が定常環境の仮定に依存する値関数ベースのアルゴリズムにとって大きな課題となる。 我々は、モデルポンポント学習(LeMOL)と呼ばれる、対戦者の学習力学をモデル化するための新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2020-06-06T17:19:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。