論文の概要: Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2201.01163v1
• Date: Mon, 3 Jan 2022 17:00:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-05 13:33:54.532123
• Title: Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習を用いた多元経済シミュレーションにおける一般均衡の発見
• Authors: Michael Curry, Alexander Trott, Soham Phade, Yu Bai, Stephan Zheng
• Abstract要約: 本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
• 参考スコア（独自算出の注目度）: 72.23843557783533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Real economies can be seen as a sequential imperfect-information game with many heterogeneous, interacting strategic agents of various agent types, such as consumers, firms, and governments. Dynamic general equilibrium models are common economic tools to model the economic activity, interactions, and outcomes in such systems. However, existing analytical and computational methods struggle to find explicit equilibria when all agents are strategic and interact, while joint learning is unstable and challenging. Amongst others, a key reason is that the actions of one economic agent may change the reward function of another agent, e.g., a consumer's expendable income changes when firms change prices or governments change taxes. We show that multi-agent deep reinforcement learning (RL) can discover stable solutions that are epsilon-Nash equilibria for a meta-game over agent types, in economic simulations with many agents, through the use of structured learning curricula and efficient GPU-only simulation and training. Conceptually, our approach is more flexible and does not need unrealistic assumptions, e.g., market clearing, that are commonly used for analytical tractability. Our GPU implementation enables training and analyzing economies with a large number of agents within reasonable time frames, e.g., training completes within a day. We demonstrate our approach in real-business-cycle models, a representative family of DGE models, with 100 worker-consumers, 10 firms, and a government who taxes and redistributes. We validate the learned meta-game epsilon-Nash equilibria through approximate best-response analyses, show that RL policies align with economic intuitions, and that our approach is constructive, e.g., by explicitly learning a spectrum of meta-game epsilon-Nash equilibria in open RBC models.
• Abstract（参考訳）: リアルエコノミーは、消費者、企業、政府など、さまざまなタイプの戦略エージェントと相互作用する、多種多様な不完全な情報の連続的なゲームと見なすことができる。 動的一般均衡モデルは、そのようなシステムの経済活動、相互作用、成果をモデル化するための一般的な経済ツールである。 しかし、既存の分析的・計算的手法は、全てのエージェントが戦略的かつ相互作用するときに明らかな平衡を見つけるのに苦労する。 とりわけ重要な理由は、ある経済代理人の行動が他のエージェントの報酬関数(例えば、企業が価格を変えたり、政府が税金を変えたりするときに消費者の使い捨て所得が変わる)を変更する可能性があることである。 マルチエージェント深部強化学習 (RL) は, 構造化学習カリキュラムとGPUのみの効率的なシミュレーションとトレーニングを用いて, 多くのエージェントによる経済シミュレーションにおいて, エプシロン・ナッシュ均衡である安定解を発見することができることを示す。 概念的には、我々のアプローチはより柔軟であり、分析的トラクタビリティに一般的に使用される市場クリアリングのような非現実的な仮定を必要としない。 当社のGPU実装では,適切な時間枠内で多数のエージェントで経済をトレーニングし,分析することが可能です。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。 学習したメタゲーム epsilon-nash equilibria を最良応答解析により検証し,rl 政策が経済直観と整合することを示すとともに,オープン rbc モデルにおけるメタゲーム epsilon-nash equilibria のスペクトルを明示的に学習することにより,構成的アプローチを示す。

関連論文リスト

• EconAgent: Large Language Model-Empowered Agents for Simulating Macroeconomic Activities [43.70290385026672]
  EconAgentは、マクロ経済シミュレーションのための人間のような特徴を持つ大規模言語モデルを用いたエージェントである。 まず,エージェントの判断による市場動態を取り入れたシミュレーション環境を構築する。 認識モジュールを通して、異なる意思決定機構を持つ異種エージェントを作成する。
  論文  参考訳（メタデータ） (2023-10-16T14:19:40Z)
• MERMAIDE: Learning to Align Learners using Model-Based Meta-Learning [62.065503126104126]
  本研究では,先見のつかない学習エージェントの報酬を効率よく効果的に介入し,望ましい結果を導き出す方法について検討する。 これはオークションや課税のような現実世界の多くの設定に関係しており、プリンシパルは学習行動や実際の人々の報酬を知らないかもしれない。 モデルに基づくメタ学習フレームワークであるMERMAIDEを導入し,配布外エージェントに迅速に適応できるプリンシパルを訓練する。
  論文  参考訳（メタデータ） (2023-04-10T15:44:50Z)
• Many learning agents interacting with an agent-based market model [0.0]
  反応型エージェントベースモデルと相互作用する最適な実行取引エージェントの学習のダイナミクスを考察する。 このモデルは、最適な実行学習エージェント、最小限の知的流動性テイカー、高速な電子流動性プロバイダによって表される3つの栄養レベルを持つ市場エコロジーを表している。 学習可能な最適な実行エージェントを組み込むことで、経験的データと同じ複雑さで動的に生成できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-03-13T18:15:52Z)
• Towards Multi-Agent Reinforcement Learning driven Over-The-Counter Market Simulations [16.48389671789281]
  オーバー・ザ・カウンタ市場において,流動性提供者と流動性取扱業者が相互作用するゲームについて検討した。 互いに対戦することで、深層強化学習主体のエージェントは創発的な行動を学ぶ。 遷移性仮定の下で,多エージェントポリシー勾配アルゴリズムの収束率を示す。
  論文  参考訳（メタデータ） (2022-10-13T17:06:08Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning [85.86440477005523]
  我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。 RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-18T20:54:00Z)
• ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in Multi-Agent Simulations [110.72725220033983]
  Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。 ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。 特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
  論文  参考訳（メタデータ） (2021-06-10T04:32:20Z)
• Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions [80.49176924360499]
  我々は、シーケンシャルな意思決定問題を解決するために、単純で専門的で自己関心のあるエージェントの社会を指示する枠組みを確立する。 我々は分散強化学習アルゴリズムのクラスを導出する。 我々は、より効率的な移動学習のための社会固有のモジュラー構造の潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2020-07-05T16:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。