論文の概要: From Individual Learning to Market Equilibrium: Correcting Structural and Parametric Biases in RL Simulations of Economic Models

• arxiv url: http://arxiv.org/abs/2507.18229v1
• Date: Thu, 24 Jul 2025 09:21:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:43.32617
• Title: From Individual Learning to Market Equilibrium: Correcting Structural and Parametric Biases in RL Simulations of Economic Models
• Title（参考訳）: 個人学習から市場均衡へ:経済モデルのRLシミュレーションにおける構造的・パラメトリックバイアスの修正
• Authors: Zeqiang Zhang, Ruxin Chen,
• Abstract要約: 強化学習の経済モデリングへの応用は、均衡理論の仮定と学習エージェントの創発的行動の根本的な矛盾を明らかにする。 本稿ではまず, コンケーブ生成を伴う探索マッチングモデルにおいて, 標準RLエージェントが非平衡な単調なポリシーを学習することを示す。 本稿では, マクロ経済分野に代表エージェントを組み込んだ平均場強化学習フレームワークを提案し, 経済的機会コストを反映したコスト関数の調整を行う。
• 参考スコア（独自算出の注目度）: 1.8953148404648696
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The application of Reinforcement Learning (RL) to economic modeling reveals a fundamental conflict between the assumptions of equilibrium theory and the emergent behavior of learning agents. While canonical economic models assume atomistic agents act as `takers' of aggregate market conditions, a naive single-agent RL simulation incentivizes the agent to become a `manipulator' of its environment. This paper first demonstrates this discrepancy within a search-and-matching model with concave production, showing that a standard RL agent learns a non-equilibrium, monopsonistic policy. Additionally, we identify a parametric bias arising from the mismatch between economic discounting and RL's treatment of intertemporal costs. To address both issues, we propose a calibrated Mean-Field Reinforcement Learning framework that embeds a representative agent in a fixed macroeconomic field and adjusts the cost function to reflect economic opportunity costs. Our iterative algorithm converges to a self-consistent fixed point where the agent's policy aligns with the competitive equilibrium. This approach provides a tractable and theoretically sound methodology for modeling learning agents in economic systems within the broader domain of computational social science.
• Abstract（参考訳）: 経済モデリングへの強化学習(RL)の適用は、均衡理論の仮定と学習エージェントの創発的行動の根本的な矛盾を明らかにする。 標準的な経済モデルでは、原子性エージェントが集約された市場条件の「テイカー」として振る舞うが、単純な単一エージェントRLシミュレーションはエージェントをその環境の「マニピュレータ」にインセンティブを与える。 本稿ではまず, コンケーブ生成を伴う探索マッチングモデルにおいて, 標準RLエージェントが非平衡な単調なポリシーを学習することを示す。 さらに、経済ディスカウントとRLの時間的コスト処理のミスマッチから生じるパラメトリックバイアスを同定する。 両課題に対処するため,定型マクロ経済分野に代表エージェントを組み込んだ平均場強化学習フレームワークを提案し,経済的な機会コストを反映したコスト関数を調整した。 我々の反復アルゴリズムは、エージェントのポリシーが競合平衡と整合する自己整合固定点に収束する。 このアプローチは、計算社会科学の幅広い領域における経済システムにおける学習エージェントをモデル化するための、魅力的で理論的に健全な方法論を提供する。

関連論文リスト

• Reasoning Like an Economist: Post-Training on Economic Problems Induces Strategic Generalization in LLMs [25.067282214293904]
  本稿では,特にSFT(Supervised Fine-Tuning)やRLVR(Reinforcement Learning with Verifiable Rewards)といったポストトレーニング手法が,マルチエージェントシナリオに$textit Generalize$を効果的に適用できるかどうかを考察する。 我々は、経済的推論をテストベッドとして使用し、数学とゲーム理論の強力な基盤を活用している。 経済推論ベンチマークとマルチエージェントゲームに関する総合的な評価は、構造化推論と経済合理性において明らかに改善されていることを示している。
  論文  参考訳（メタデータ） (2025-05-31T14:22:40Z)
• Simulating the Economic Impact of Rationality through Reinforcement Learning and Agent-Based Modelling [1.7546137756031712]
  我々はエージェントベースモデル(ABM)の能力を拡大するためにマルチエージェント強化学習(RL)を活用している。 RLエージェントは、市場競争のレベルと合理性に応じて、利益を最大化するための3つの異なる戦略を自発的に学習することを示します。 また、独立した政策を持つRLエージェントと、相互にコミュニケーションする能力のないエージェントは、自発的に異なる戦略グループに分離することを学び、市場力と全体的な利益を増大させます。
  論文  参考訳（メタデータ） (2024-05-03T15:08:25Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Learning and Calibrating Heterogeneous Bounded Rational Market Behaviour with Multi-Agent Reinforcement Learning [4.40301653518681]
  エージェントベースモデル(ABM)は、従来の平衡解析と相容れない様々な実世界の現象をモデル化することを約束している。 マルチエージェント強化学習(MARL)の最近の進歩は、合理性の観点からこの問題に対処する方法を提供する。 MARLフレームワーク内で不均一な処理制約を持つエージェントを表現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T17:21:45Z)
• Finding Regularized Competitive Equilibria of Heterogeneous Agent Macroeconomic Models with Reinforcement Learning [151.03738099494765]
  労働市場に参入する世帯や企業を無限に数える異種エージェントマクロ経済モデルについて検討する。 本稿では,モデルの正規化競争均衡を求めるデータ駆動強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-02-24T17:16:27Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• Online Learning of Competitive Equilibria in Exchange Economies [94.24357018178867]
  経済学では、複数の有理エージェント間の資源不足の共有は古典的な問題である。 エージェントの好みを学習するためのオンライン学習機構を提案する。 数値シミュレーションにより,本機構の有効性を実証する。
  論文  参考訳（メタデータ） (2021-06-11T21:32:17Z)
• Solving Heterogeneous General Equilibrium Economic Models with Deep Reinforcement Learning [0.0]
  一般均衡マクロ経済モデルは、政策立案者が国の経済を理解するために使う中核ツールである。 私たちは強化学習の手法を使って、単純で異種で計算効率の良い方法でこれらのモデルを解く。
  論文  参考訳（メタデータ） (2021-03-31T10:55:10Z)
• Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions [80.49176924360499]
  我々は、シーケンシャルな意思決定問題を解決するために、単純で専門的で自己関心のあるエージェントの社会を指示する枠組みを確立する。 我々は分散強化学習アルゴリズムのクラスを導出する。 我々は、より効率的な移動学習のための社会固有のモジュラー構造の潜在的な利点を実証する。
  論文  参考訳（メタデータ） (2020-07-05T16:41:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。