論文の概要: Simulating the Economic Impact of Rationality through Reinforcement Learning and Agent-Based Modelling

• arxiv url: http://arxiv.org/abs/2405.02161v2
• Date: Mon, 21 Oct 2024 21:20:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 18:22:43.611233
• Title: Simulating the Economic Impact of Rationality through Reinforcement Learning and Agent-Based Modelling
• Title（参考訳）: 強化学習とエージェントモデルによる連帯性の経済効果のシミュレーション
• Authors: Simone Brusatin, Tommaso Padoan, Andrea Coletta, Domenico Delli Gatti, Aldo Glielmo,
• Abstract要約: 我々はエージェントベースモデル(ABM)の能力を拡大するためにマルチエージェント強化学習(RL)を活用している。 RLエージェントは、市場競争のレベルと合理性に応じて、利益を最大化するための3つの異なる戦略を自発的に学習することを示します。 また、独立した政策を持つRLエージェントと、相互にコミュニケーションする能力のないエージェントは、自発的に異なる戦略グループに分離することを学び、市場力と全体的な利益を増大させます。
• 参考スコア（独自算出の注目度）: 1.7546137756031712
• License:
• Abstract: Agent-based models (ABMs) are simulation models used in economics to overcome some of the limitations of traditional frameworks based on general equilibrium assumptions. However, agents within an ABM follow predetermined 'bounded rational' behavioural rules which can be cumbersome to design and difficult to justify. Here we leverage multi-agent reinforcement learning (RL) to expand the capabilities of ABMs with the introduction of 'fully rational' agents that learn their policy by interacting with the environment and maximising a reward function. Specifically, we propose a 'Rational macro ABM' (R-MABM) framework by extending a paradigmatic macro ABM from the economic literature. We show that gradually substituting ABM firms in the model with RL agents, trained to maximise profits, allows for studying the impact of rationality on the economy. We find that RL agents spontaneously learn three distinct strategies for maximising profits, with the optimal strategy depending on the level of market competition and rationality. We also find that RL agents with independent policies, and without the ability to communicate with each other, spontaneously learn to segregate into different strategic groups, thus increasing market power and overall profits. Finally, we find that a higher number of rational (RL) agents in the economy always improves the macroeconomic environment as measured by total output. Depending on the specific rational policy, this can come at the cost of higher instability. Our R-MABM framework allows for stable multi-agent learning, is available in open source, and represents a principled and robust direction to extend economic simulators.
• Abstract（参考訳）: エージェントベースモデル(エージェントベースモデル、英: Agent-based model、ABM)は、一般的な均衡仮定に基づく従来のフレームワークの制限を克服するために、経済学で使用されるシミュレーションモデルである。 しかし、ABM内のエージェントは、設計が面倒で正当化が難しい、所定の「有界な合理的な」行動規則に従う。 ここでは,マルチエージェント強化学習(RL)を活用して,環境と相互作用し,報酬関数を最大化する「合理的」エージェントの導入により,ABMの能力を拡大する。 具体的には、パラダイム的マクロABMを経済文献から拡張することにより、R-MABM(Rational macro ABM)フレームワークを提案する。 我々は、利益を最大化するために訓練されたRLエージェントをモデルにABM会社を徐々に置き換えることで、合理性が経済に与える影響を研究することができることを示す。 RLエージェントは、市場競争のレベルと合理性に応じて最適な戦略で、利益を最大化するための3つの異なる戦略を自発的に学習する。 また、独立した政策を持つRLエージェントと、相互にコミュニケーションする能力のないエージェントは、自発的に異なる戦略グループに分離することを学び、市場力と全体的な利益を増大させる。 最後に、経済における合理的(RL)エージェントの数が増えると、総出力によって測定されたマクロ経済環境が常に改善されることが分かる。 具体的な合理的な方針によっては、これはより不安定なコストがかかる可能性がある。 我々のR-MABMフレームワークは、安定したマルチエージェント学習を可能にし、オープンソースで利用可能であり、経済シミュレータを拡張するための原則的で堅牢な方向を示している。

関連論文リスト

• Deep Reinforcement Learning Agents for Strategic Production Policies in Microeconomic Market Simulations [1.6499388997661122]
  複数の生産者と競合する市場で効果的な政策を得るためのDRLベースのアプローチを提案する。 我々のフレームワークは、静的およびランダムな戦略を一貫して上回るいくつかのシミュレーションに適応的な生産ポリシーを学習することを可能にする。 その結果,DRLで訓練したエージェントは生産水準を戦略的に調整し,長期利益率を最大化できることがわかった。
  論文  参考訳（メタデータ） (2024-10-27T18:38:05Z)
• Learning and Calibrating Heterogeneous Bounded Rational Market Behaviour with Multi-Agent Reinforcement Learning [4.40301653518681]
  エージェントベースモデル(ABM)は、従来の平衡解析と相容れない様々な実世界の現象をモデル化することを約束している。 マルチエージェント強化学習(MARL)の最近の進歩は、合理性の観点からこの問題に対処する方法を提供する。 MARLフレームワーク内で不均一な処理制約を持つエージェントを表現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T17:21:45Z)
• EconAgent: Large Language Model-Empowered Agents for Simulating Macroeconomic Activities [43.70290385026672]
  EconAgentは、マクロ経済シミュレーションのための人間のような特徴を持つ大規模言語モデルを用いたエージェントである。 まず,エージェントの判断による市場動態を取り入れたシミュレーション環境を構築する。 認識モジュールを通して、異なる意思決定機構を持つ異種エージェントを作成する。
  論文  参考訳（メタデータ） (2023-10-16T14:19:40Z)
• Finding Regularized Competitive Equilibria of Heterogeneous Agent Macroeconomic Models with Reinforcement Learning [151.03738099494765]
  労働市場に参入する世帯や企業を無限に数える異種エージェントマクロ経済モデルについて検討する。 本稿では,モデルの正規化競争均衡を求めるデータ駆動強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T17:16:27Z)
• Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning [85.86440477005523]
  我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。 RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
  論文  参考訳（メタデータ） (2022-01-18T20:54:00Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• Automated Machine Learning, Bounded Rationality, and Rational Metareasoning [62.997667081978825]
  有界合理性の観点から、自動機械学習(AutoML)と関連する問題を考察する。 リソース境界の下でアクションを取るには、エージェントがこれらのリソースを最適な方法で利用する方法を反映する必要がある。
  論文  参考訳（メタデータ） (2021-09-10T09:10:20Z)
• ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in Multi-Agent Simulations [110.72725220033983]
  Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。 ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。 特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
  論文  参考訳（メタデータ） (2021-06-10T04:32:20Z)
• Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions [80.49176924360499]
  我々は、シーケンシャルな意思決定問題を解決するために、単純で専門的で自己関心のあるエージェントの社会を指示する枠組みを確立する。 我々は分散強化学習アルゴリズムのクラスを導出する。 我々は、より効率的な移動学習のための社会固有のモジュラー構造の潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2020-07-05T16:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。