論文の概要: Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2202.01691v1
• Date: Tue, 18 Jan 2022 20:54:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-06 08:58:59.925920
• Title: Modeling Bounded Rationality in Multi-Agent Simulations Using Rationally Inattentive Reinforcement Learning
• Title（参考訳）: Rationally Inattentive Reinforcement Learning を用いたマルチエージェントシミュレーションにおける境界値のモデリング
• Authors: Tong Mu, Stephan Zheng, Alexander Trott
• Abstract要約: 我々は、人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを含む、より人間的なRLエージェントについて検討する。 RIRLは、相互情報を用いた認知情報処理のコストをモデル化する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる、新しい平衡挙動の豊富なスペクトルが得られることを示す。
• 参考スコア（独自算出の注目度）: 85.86440477005523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-agent reinforcement learning (MARL) is a powerful framework for studying emergent behavior in complex agent-based simulations. However, RL agents are often assumed to be rational and behave optimally, which does not fully reflect human behavior. Here, we study more human-like RL agents which incorporate an established model of human-irrationality, the Rational Inattention (RI) model. RI models the cost of cognitive information processing using mutual information. Our RIRL framework generalizes and is more flexible than prior work by allowing for multi-timestep dynamics and information channels with heterogeneous processing costs. We evaluate RIRL in Principal-Agent (specifically manager-employee relations) problem settings of varying complexity where RI models information asymmetry (e.g. it may be costly for the manager to observe certain information about the employees). We show that using RIRL yields a rich spectrum of new equilibrium behaviors that differ from those found under rational assumptions. For instance, some forms of a Principal's inattention can increase Agent welfare due to increased compensation, while other forms of inattention can decrease Agent welfare by encouraging extra work effort. Additionally, new strategies emerge compared to those under rationality assumptions, e.g., Agents are incentivized to increase work effort. These results suggest RIRL is a powerful tool towards building AI agents that can mimic real human behavior.
• Abstract（参考訳）: マルチエージェント強化学習(MARL)は,複雑なエージェントに基づくシミュレーションにおいて,創発的行動を研究するための強力なフレームワークである。 しかし、rlエージェントはしばしば合理的であり、人間の行動を完全に反映しない最適に振る舞うと仮定される。 本稿では,人間不合理性の確立されたモデルであるRational Inattention(RI)モデルを組み込んだ,より人間的なRLエージェントについて検討する。 riは相互情報を用いた認知情報処理のコストをモデル化する。 当社のrirlフレームワークは,ヘテロジニアスな処理コストでマルチタイムステップダイナミクスと情報チャネルを実現することにより,従来の作業よりも一般化し,より柔軟です。 riモデル情報非対称性(例えば、マネージャが従業員に関する特定の情報を観察するのにコストがかかるかもしれない)における様々な複雑さのプリンシパルエージェント(特にマネージャ-雇用者関係)の問題設定において、rirlを評価する。 我々は、RIRLを用いることで、合理的な仮定の下で発見されたものと異なる新しい平衡挙動の豊富なスペクトルが得られることを示す。 例えば、プリンシパルの不注意のいくつかの形態は、報酬の増加によるエージェントの福祉を増加させる一方、他の形態では余分な努力を奨励することでエージェントの福祉を減らすことができる。 さらに、合理性仮定の下での新しい戦略が出現する。例えば、エージェントは仕事の労力を増やすためにインセンティブが与えられる。 これらの結果は、IRLが実際の人間の行動を模倣できるAIエージェントを構築するための強力なツールであることを示唆している。

関連論文リスト

• Simulating the Economic Impact of Rationality through Reinforcement Learning and Agent-Based Modelling [1.7546137756031712]
  我々はエージェントベースモデル(ABM)の能力を拡大するためにマルチエージェント強化学習(RL)を活用している。 RLエージェントは、市場競争のレベルと合理性に応じて、利益を最大化するための3つの異なる戦略を自発的に学習することを示します。 また、独立した政策を持つRLエージェントと、相互にコミュニケーションする能力のないエージェントは、自発的に異なる戦略グループに分離することを学び、市場力と全体的な利益を増大させます。
  論文  参考訳（メタデータ） (2024-05-03T15:08:25Z)
• Learning and Calibrating Heterogeneous Bounded Rational Market Behaviour with Multi-Agent Reinforcement Learning [4.40301653518681]
  エージェントベースモデル(ABM)は、従来の平衡解析と相容れない様々な実世界の現象をモデル化することを約束している。 マルチエージェント強化学習(MARL)の最近の進歩は、合理性の観点からこの問題に対処する方法を提供する。 MARLフレームワーク内で不均一な処理制約を持つエージェントを表現するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-01T17:21:45Z)
• Decision-Making Among Bounded Rational Agents [5.24482648010213]
  本稿では,情報理論の観点からの有界合理性の概念をゲーム理論の枠組みに導入する。 これにより、ロボットは他のエージェントの準最適動作を推論し、計算上の制約の下で行動することができる。 その結果,ロボットが他のエージェントの理性行動の異なるレベルを推論し,その計算制約の下で合理的な戦略を計算できることが実証された。
  論文  参考訳（メタデータ） (2022-10-17T00:29:24Z)
• Finding General Equilibria in Many-Agent Economic Simulations Using Deep Reinforcement Learning [72.23843557783533]
  本研究では,エージェント種別のメタゲームに対して,エプシロン・ナッシュ平衡である安定解を求めることができることを示す。 私たちのアプローチはより柔軟で、例えば市場クリア化のような非現実的な仮定は必要ありません。 当社のアプローチは、実際のビジネスサイクルモデル、DGEモデルの代表的なファミリー、100人の労働者消費者、10社の企業、税金と再分配を行う政府で実証しています。
  論文  参考訳（メタデータ） (2022-01-03T17:00:17Z)
• Automated Machine Learning, Bounded Rationality, and Rational Metareasoning [62.997667081978825]
  有界合理性の観点から、自動機械学習(AutoML)と関連する問題を考察する。 リソース境界の下でアクションを取るには、エージェントがこれらのリソースを最適な方法で利用する方法を反映する必要がある。
  論文  参考訳（メタデータ） (2021-09-10T09:10:20Z)
• ERMAS: Becoming Robust to Reward Function Sim-to-Real Gaps in Multi-Agent Simulations [110.72725220033983]
  Epsilon-Robust Multi-Agent Simulation (ERMAS)は、このようなマルチエージェントのsim-to-realギャップに対して堅牢なAIポリシーを学ぶためのフレームワークである。 ERMASは、エージェントリスク回避の変化に対して堅牢な税政策を学び、複雑な時間シミュレーションで最大15%社会福祉を改善する。 特に、ERMASは、エージェントリスク回避の変化に対して堅牢な税制政策を学び、複雑な時間シミュレーションにおいて、社会福祉を最大15%改善する。
  論文  参考訳（メタデータ） (2021-06-10T04:32:20Z)
• What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
  recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。 部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
  論文  参考訳（メタデータ） (2021-04-29T20:34:39Z)
• Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
  マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。 本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。