論文の概要: Analysis of Multiscale Reinforcement Q-Learning Algorithms for Mean Field Control Games

• arxiv url: http://arxiv.org/abs/2405.17017v3
• Date: Tue, 4 Jun 2024 02:58:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 08:53:00.448479
• Title: Analysis of Multiscale Reinforcement Q-Learning Algorithms for Mean Field Control Games
• Title（参考訳）: 平均場制御ゲームのための大規模強化Qラーニングアルゴリズムの解析
• Authors: Andrea Angiuli, Jean-Pierre Fouque, Mathieu Laurière, Mengrui Zhang,
• Abstract要約: MFCG(Mean Field Control Games)は、多数のエージェント間の競争ゲームである。 MFCGを解くために,3次元強化Q-Learning (RL) アルゴリズムの収束性を証明する。
• 参考スコア（独自算出の注目度）: 2.3833208322103605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mean Field Control Games (MFCG), introduced in [Angiuli et al., 2022a], represent competitive games between a large number of large collaborative groups of agents in the infinite limit of number and size of groups. In this paper, we prove the convergence of a three-timescale Reinforcement Q-Learning (RL) algorithm to solve MFCG in a model-free approach from the point of view of representative agents. Our analysis uses a Q-table for finite state and action spaces updated at each discrete time-step over an infinite horizon. In [Angiuli et al., 2023], we proved convergence of two-timescale algorithms for MFG and MFC separately highlighting the need to follow multiple population distributions in the MFC case. Here, we integrate this feature for MFCG as well as three rates of update decreasing to zero in the proper ratios. Our technique of proof uses a generalization to three timescales of the two-timescale analysis in [Borkar, 1997]. We give a simple example satisfying the various hypothesis made in the proof of convergence and illustrating the performance of the algorithm.
• Abstract（参考訳）: 平均場制御ゲーム (MFCG) は, [Angiuli et al , 2022a] に導入され, グループ数と大きさの無限の極限において, 多数のエージェント間の競争ゲームを表す。 本稿では,3次元強化Q-Learning(RL)アルゴリズムのモデルフリーアプローチによるMFCGの収束を代表エージェントの観点から証明する。 我々の分析では、有限状態と作用空間に対して、無限の地平線上の各離散時間ステップで更新されるQテーブルを用いている。 Angiuli et al , 2023] では,MFG と MFC の2時間スケールアルゴリズムの収束が,MFC の場合において複数の集団分布に従う必要性を別々に強調した。 ここでは,この機能をMFCGに組み込むとともに,適切な比で3回の更新率を0に下げる。 本手法は,[Borkar, 1997]における2時間スケール解析の3つの時間スケールを一般化した手法である。 本稿では,アルゴリズムの性能を解析し,収束の証明における様々な仮説を満たす簡単な例を示す。

関連論文リスト

• Last Iterate Convergence in Monotone Mean Field Games [5.407319151576265]
  Mean Field Game (MFG) は、多数のエージェントの振る舞いをモデル化し、近似するために使用されるフレームワークである。 本稿では,MFGの平衡を計算するために,単純な近点型アルゴリズムを提案する。 我々は、Lasry-Lions型単調性条件の下で、最初の最終点収束保証を提供する。
  論文  参考訳（メタデータ） (2024-10-07T15:28:18Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Deep Reinforcement Learning for Infinite Horizon Mean Field Problems in Continuous Spaces [1.4999444543328293]
  本稿では,平均場ゲーム(MFG)と平均場制御(MFC)問題を統一的に解くために,強化学習(RL)アルゴリズムを提案する。 提案手法は,パラメータ化スコア関数による平均場分布の表現とアクタ・クリティカル(AC)パラダイムを組み合わせて提案する。 アルゴリズムの修正により、混合平均場制御ゲーム(MFCG)を解くことができる。
  論文  参考訳（メタデータ） (2023-09-19T22:37:47Z)
• Online Learning with Adversaries: A Differential-Inclusion Analysis [52.43460995467893]
  我々は,完全に非同期なオンラインフェデレート学習のための観察行列ベースのフレームワークを提案する。 我々の主な結果は、提案アルゴリズムがほぼ確実に所望の平均$mu.$に収束することである。 新たな差分包摂型2時間スケール解析を用いて,この収束を導出する。
  論文  参考訳（メタデータ） (2023-04-04T04:32:29Z)
• A unified stochastic approximation framework for learning in games [82.74514886461257]
  ゲームにおける学習の長期的挙動(連続的・有限的)を解析するためのフレキシブルな近似フレームワークを開発する。 提案する分析テンプレートには,勾配に基づく手法,有限ゲームでの学習のための指数的/乗算的重み付け,楽観的および帯域的変異など,幅広い一般的な学習アルゴリズムが組み込まれている。
  論文  参考訳（メタデータ） (2022-06-08T14:30:38Z)
• Concave Utility Reinforcement Learning: the Mean-field Game viewpoint [42.403650997341806]
  Concave Utility Reinforcement Learning (CURL) は、エージェントのポリシーによって引き起こされる占有度測定において、線形から凹凸ユーティリティまでRLを拡張する。 このより一般的なパラダイムは、古典的なベルマン方程式を無効にし、新しいアルゴリズムを要求する。 CURLは平均フィールドゲーム(MFG)のサブクラスであることを示す。
  論文  参考訳（メタデータ） (2021-06-07T16:51:07Z)
• Scaling up Mean Field Games with Online Mirror Descent [55.36153467919289]
  オンラインミラー Descent (OMD) を用いた平均場ゲーム (MFG) のスケールアップ均衡計算に対処する。 連続時間 OMD は自然かつモチベーションの良い単調性仮定の集合の下でナッシュ平衡に確実に収束することを示す。 様々な単一および多集団MFGに関する徹底的な実験的研究は、OMDがFictitious Play (FP)のような従来のアルゴリズムより優れていることを示している。
  論文  参考訳（メタデータ） (2021-02-28T21:28:36Z)
• Global Convergence of Policy Gradient for Linear-Quadratic Mean-Field Control/Game in Continuous Time [109.06623773924737]
  線形二乗平均場制御とゲームに対するポリシー勾配法について検討する。 線形速度で最適解に収束し, 合成シミュレーションにより検証した。
  論文  参考訳（メタデータ） (2020-08-16T06:34:11Z)
• Unified Reinforcement Q-Learning for Mean Field Game and Control Problems [0.0]
  本稿では、無限水平平均場ゲーム(MFG)と平均場制御(MFC)問題を解決するために強化学習(RL)アルゴリズムを提案する。 このアルゴリズムは,2つの学習パラメータの比率を単純に調整することで,MFGとMFCのどちらでも学習することができる。
  論文  参考訳（メタデータ） (2020-06-24T17:45:44Z)
• Finite-Time Last-Iterate Convergence for Multi-Agent Learning in Games [116.0771177871705]
  我々は,$lambda$-cocoerciveゲーム上での連立OGD学習における有限時間最終点収束率を特徴付ける。 新たなダブルストッピング時間法により, この適応アルゴリズムは, 非適応的手法と同じ有限時間終点収束率が得られることを示す。
  論文  参考訳（メタデータ） (2020-02-23T01:46:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。