論文の概要: Bounded Rationality Equilibrium Learning in Mean Field Games

• arxiv url: http://arxiv.org/abs/2411.07099v1
• Date: Mon, 11 Nov 2024 16:24:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:10:46.920946
• Title: Bounded Rationality Equilibrium Learning in Mean Field Games
• Title（参考訳）: 平均場ゲームにおける境界性平衡学習
• Authors: Yannick Eich, Christian Fabian, Kai Cui, Heinz Koeppl,
• Abstract要約: 平均場ゲーム (MFGs) は、多人数のエージェント集団において、トリッキーにモデル化される。 量子応答平衡(QRE)の概念を活用することにより、有界な有理性をMFGに組み込む。 また、エージェントの計画的地平線を制限することにより、MFGに有界な有理性を持つ第2の情報源を導入する。
• 参考スコア（独自算出の注目度）: 28.027503757302203
• License:
• Abstract: Mean field games (MFGs) tractably model behavior in large agent populations. The literature on learning MFG equilibria typically focuses on finding Nash equilibria (NE), which assume perfectly rational agents and are hence implausible in many realistic situations. To overcome these limitations, we incorporate bounded rationality into MFGs by leveraging the well-known concept of quantal response equilibria (QRE). Two novel types of MFG QRE enable the modeling of large agent populations where individuals only noisily estimate the true objective. We also introduce a second source of bounded rationality to MFGs by restricting agents' planning horizon. The resulting novel receding horizon (RH) MFGs are combined with QRE and existing approaches to model different aspects of bounded rationality in MFGs. We formally define MFG QRE and RH MFGs and compare them to existing equilibrium concepts such as entropy-regularized NE. Subsequently, we design generalized fixed point iteration and fictitious play algorithms to learn QRE and RH equilibria. After a theoretical analysis, we give different examples to evaluate the capabilities of our learning algorithms and outline practical differences between the equilibrium concepts.
• Abstract（参考訳）: 平均場ゲーム (MFGs) は、多人数のエージェント集団において、トリッキーにモデル化される。 MFG平衡の学習に関する文献は典型的には、完全に合理的なエージェントを仮定するナッシュ平衡(NE)の発見に焦点を当てている。 これらの制限を克服するために、量子応答平衡(QRE)というよく知られた概念を活用することで、境界有理性をMFGに組み込む。 2つの新しいタイプのMFG QREは、個人が真の目的はノイズのみを見積もる大きなエージェント集団のモデリングを可能にする。 また、エージェントの計画的地平線を制限することにより、MFGに有界な有理性を持つ第2の情報源を導入する。 結果として得られた新規な回帰地平線(RH) MFG は、MFG における有界有理性の異なる側面をモデル化するための QRE と既存のアプローチと組み合わせられる。 我々は、MFG QREとRH MFGを正式に定義し、エントロピー規則化NEのような既存の平衡概念と比較する。 その後、QREとRH平衡を学習するために、一般化された固定点反復と架空のプレイアルゴリズムを設計する。 理論的解析の後、我々は学習アルゴリズムの能力を評価するために異なる例を示し、平衡概念の実践的な違いを概説する。

関連論文リスト

• Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
  本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。 エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。 我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
  論文  参考訳（メタデータ） (2024-04-30T06:48:56Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Learning Discrete-Time Major-Minor Mean Field Games [61.09249862334384]
  本稿では,M3FG(Major-minor MFG)の新たな離散時間バージョンと,実演に基づく学習アルゴリズムを提案する。 M3FGは一般的な雑音でMFGを一般化し、ランダムな異種環境状態だけでなく、メジャープレイヤーも扱える。
  論文  参考訳（メタデータ） (2023-12-17T18:22:08Z)
• Q-Learning for Stochastic Control under General Information Structures and Non-Markovian Environments [1.90365714903665]
  反復に対する収束定理を提示し、特に一般の、おそらくは非マルコフ的環境下でのQ学習を反復する。 非マルコフ環境における様々な制御問題に対するこの定理の意義と応用について論じる。
  論文  参考訳（メタデータ） (2023-10-31T19:53:16Z)
• Global Convergence of Over-parameterized Deep Equilibrium Models [52.65330015267245]
  ディープ均衡モデル(Deep equilibrium model, DEQ)は、入射を伴う無限深度重み付きモデルの平衡点を通して暗黙的に定義される。 無限の計算の代わりに、ルートフィンディングで直接平衡点を解き、暗黙の微分で勾配を計算する。 本稿では,無限深度重み付きモデルの非漸近解析における技術的困難を克服する新しい確率的枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-27T08:00:13Z)
• Efficient Model-based Multi-agent Reinforcement Learning via Optimistic Equilibrium Computation [93.52573037053449]
  H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。 自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
  論文  参考訳（メタデータ） (2022-03-14T17:24:03Z)
• Bounded rationality for relaxing best response and mutual consistency: An information-theoretic model of partial self-reference [0.0]
  この研究は、相互整合性やベストレスポンスなど、合理的性の前提となるいくつかの仮定に焦点を当てている。 我々は、レベル-$k$推論と量子応答平衡(QRE)の概念を用いて、これらの仮定を緩和する方法を検討する。
  論文  参考訳（メタデータ） (2021-06-30T06:56:56Z)
• Reinforcement Learning for Mean Field Games, with Applications to Economics [0.0]
  平均場ゲーム(MFG)および平均場制御問題(平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題、平均場制御問題)は、エージェントの連続体を持つゲームにおいてナッシュ平衡または社会的最適性を研究するためのフレームワークである。 本稿では,MFGとMFCのためのRLを用いた2つの時間スケールアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-25T16:45:04Z)
• Scaling up Mean Field Games with Online Mirror Descent [55.36153467919289]
  オンラインミラー Descent (OMD) を用いた平均場ゲーム (MFG) のスケールアップ均衡計算に対処する。 連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。 様々な単一および多集団MFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-28T21:28:36Z)
• Exploratory LQG Mean Field Games with Entropy Regularization [0.0]
  作用分布の最適セットは、有限人口エントロピー規則化されたMFGに対して$epsilon$-Nash平衡をもたらすことを示す。 得られた解と古典的LQG MFGの解を比較し、それらの存在の同値性を確立する。
  論文  参考訳（メタデータ） (2020-11-25T18:51:09Z)
• Calibration of Shared Equilibria in General Sum Partially Observable Markov Games [15.572157454411533]
  我々は、異なるタイプのエージェントが単一のポリシーネットワークを共有する、一般的な可観測マルコフゲームを考える。 本稿は,そのようなエージェントが到達した平衡を形式的に理解すること,および,そのような平衡の創発的な現象を現実のターゲットに合わせることを目的としている。
  論文  参考訳（メタデータ） (2020-06-23T15:14:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。