論文の概要: Policy-focused Agent-based Modeling using RL Behavioral Models
- arxiv url: http://arxiv.org/abs/2006.05048v3
- Date: Thu, 5 Nov 2020 20:41:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-23 14:28:32.318862
- Title: Policy-focused Agent-based Modeling using RL Behavioral Models
- Title（参考訳）: RL行動モデルを用いた政策指向エージェントベースモデリング
- Authors: Osonde A. Osoba, Raffaele Vardavas, Justin Grana, Rushil Zutshi, Amber
Jaycocks
- Abstract要約: 本稿では, ABMにおけるエージェント決定の適応的, 高い性能, 行動的妥当性のモデルとして, 強化学習モデルの価値について検討する。
RL エージェントは政策 ABM における実用最大化エージェントとして有効である,という仮説を検証した。
実験により、RLの行動モデルは、ABMエージェントの報酬探索や報酬最大化行動を生成するのに有効であることが示された。
- 参考スコア（独自算出の注目度）: 0.40498500266986387
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agent-based Models (ABMs) are valuable tools for policy analysis. ABMs help
analysts explore the emergent consequences of policy interventions in
multi-agent decision-making settings. But the validity of inferences drawn from
ABM explorations depends on the quality of the ABM agents' behavioral models.
Standard specifications of agent behavioral models rely either on heuristic
decision-making rules or on regressions trained on past data. Both prior
specification modes have limitations. This paper examines the value of
reinforcement learning (RL) models as adaptive, high-performing, and
behaviorally-valid models of agent decision-making in ABMs. We test the
hypothesis that RL agents are effective as utility-maximizing agents in policy
ABMs. We also address the problem of adapting RL algorithms to handle
multi-agency in games by adapting and extending methods from recent literature.
We evaluate the performance of such RL-based ABM agents via experiments on two
policy-relevant ABMs: a minority game ABM, and an ABM of Influenza
Transmission. We run some analytic experiments on our AI-equipped ABMs e.g.
explorations of the effects of behavioral heterogeneity in a population and the
emergence of synchronization in a population. The experiments show that RL
behavioral models are effective at producing reward-seeking or
reward-maximizing behaviors in ABM agents. Furthermore, RL behavioral models
can learn to outperform the default adaptive behavioral models in the two ABMs
examined.
- Abstract（参考訳）: エージェントベースモデル(ABM)はポリシー分析に有用なツールである。
ABMは、マルチエージェント意思決定設定における政策介入の突発的な結果をアナリストが調査するのに役立つ。
しかし、ABM探査から引き出された推論の妥当性は、ABMエージェントの行動モデルの品質に依存する。
エージェント行動モデルの標準仕様は、ヒューリスティックな意思決定ルールか、過去のデータに基づいて訓練された回帰に依存する。
どちらの仕様モードにも制限がある。
本稿では, ABMにおけるエージェント決定の適応的, 高い性能, 行動等価モデルとしての強化学習(RL)モデルの価値について検討する。
RL エージェントは政策 ABM における実用最大化エージェントとして有効であるという仮説を検証した。
また,近年の文献から手法を適応・拡張することにより,ゲーム内のマルチ緊急処理にRLアルゴリズムを適用する問題にも対処する。
我々は,RLをベースとしたABMエージェントの性能を,少数派ゲームABMとインフルエンザ感染のABMの2つの政策関連ABMの実験により評価した。
例えば、集団における行動の多様性と集団における同期の出現が与える影響の探索などです。
実験の結果, RLの挙動モデルは, ABM剤の報酬探索や報酬最大化に有効であることが示唆された。
さらに、rl行動モデルは、検討された2つのabmにおいて、デフォルトの適応行動モデルを上回ることを学習することができる。
関連論文リスト
- On the limits of agency in agent-based models [13.130587222524305]
エージェントベースモデリングは複雑なシステムに対する強力な洞察を提供するが、その実用性は計算の制約によって制限されている。
大規模言語モデル(LLM)の最近の進歩は、適応エージェントによるABMを強化する可能性があるが、大規模なシミュレーションへの統合は依然として困難である。
大規模シミュレーションにおいて,行動複雑性と計算効率のバランスをとる手法であるLSMアーチタイプを提案する。
論文 参考訳（メタデータ） (2024-09-14T04:17:24Z) - Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。
本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
論文 参考訳（メタデータ） (2024-02-08T14:54:47Z) - Learning and Calibrating Heterogeneous Bounded Rational Market Behaviour
with Multi-Agent Reinforcement Learning [4.40301653518681]
エージェントベースモデル(ABM)は、従来の平衡解析と相容れない様々な実世界の現象をモデル化することを約束している。
マルチエージェント強化学習(MARL)の最近の進歩は、合理性の観点からこの問題に対処する方法を提供する。
MARLフレームワーク内で不均一な処理制約を持つエージェントを表現するための新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-01T17:21:45Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳（メタデータ） (2023-02-08T07:37:51Z) - On learning agent-based models from data [22.387666772159974]
エージェントベースモデル(ABM)は、マイクロレベルの仮定から複雑なシステムの進化を研究するためにいくつかの分野で用いられている。
データからABMの潜伏マイクロ変数を学習するためのプロトコルを提案する。
論文 参考訳（メタデータ） (2022-05-10T17:08:26Z) - Training and Evaluation of Deep Policies using Reinforcement Learning
and Generative Models [67.78935378952146]
GenRLはシーケンシャルな意思決定問題を解決するためのフレームワークである。
強化学習と潜在変数生成モデルの組み合わせを利用する。
最終方針訓練の性能に最も影響を与える生成モデルの特徴を実験的に決定する。
論文 参考訳（メタデータ） (2022-04-18T22:02:32Z) - Dynamic Noises of Multi-Agent Environments Can Improve Generalization:
Agent-based Models meets Reinforcement Learning [2.492300648514128]
エージェントベースモデル(ABM)に基づく強化学習環境の利点について検討する。
それらの非決定論的ダイナミクスは、RLエージェントの一般化を改善することができることを示す。
数値シミュレーションにより、SIRモデルの内在雑音は平均報酬を改善するだけでなく、より広い範囲の流行パラメータに基づいてRLエージェントを一般化できることを示した。
論文 参考訳（メタデータ） (2022-03-26T09:56:30Z) - Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally
Inattentive Reinforcement Learning [85.86440477005523]
我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。
RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。
我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
論文 参考訳（メタデータ） (2022-01-18T20:54:00Z) - Pessimistic Model Selection for Offline Deep Reinforcement Learning [56.282483586473816]
深層強化学習(DRL)は多くのアプリケーションにおいてシーケンシャルな意思決定問題を解決する大きな可能性を示している。
主要な障壁の1つは、DRLが学んだ政策の一般化性の低下につながる過度に適合する問題である。
理論的保証のあるオフラインDRLに対する悲観的モデル選択(PMS)手法を提案する。
論文 参考訳（メタデータ） (2021-11-29T06:29:49Z) - BEDS-Bench: Behavior of EHR-models under Distributional Shift--A
Benchmark [21.040754460129854]
OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。
BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
論文 参考訳（メタデータ） (2021-07-17T05:53:24Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳（メタデータ） (2020-08-28T17:58:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。