論文の概要: Vairiational Stochastic Games

• arxiv url: http://arxiv.org/abs/2503.06037v1
• Date: Sat, 08 Mar 2025 03:21:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:46:34.656450
• Title: Vairiational Stochastic Games
• Title（参考訳）: Vairiational Stochastic Games
• Authors: Zhiyu Zhao, Haifeng Zhang,
• Abstract要約: 本稿では分散型マルチエージェントシステムに適した新しい変分推論フレームワークを提案する。 我々のフレームワークは、非定常性と非整合エージェントの目的によって引き起こされる課題に対処する。 提案した分散アルゴリズムに対する理論的収束保証を示す。
• 参考スコア（独自算出の注目度）: 1.6703448188585752
• License:
• Abstract: The Control as Inference (CAI) framework has successfully transformed single-agent reinforcement learning (RL) by reframing control tasks as probabilistic inference problems. However, the extension of CAI to multi-agent, general-sum stochastic games (SGs) remains underexplored, particularly in decentralized settings where agents operate independently without centralized coordination. In this paper, we propose a novel variational inference framework tailored to decentralized multi-agent systems. Our framework addresses the challenges posed by non-stationarity and unaligned agent objectives, proving that the resulting policies form an $\epsilon$-Nash equilibrium. Additionally, we demonstrate theoretical convergence guarantees for the proposed decentralized algorithms. Leveraging this framework, we instantiate multiple algorithms to solve for Nash equilibrium, mean-field Nash equilibrium, and correlated equilibrium, with rigorous theoretical convergence analysis.
• Abstract（参考訳）: The Control as Inference (CAI) framework has successfully transform single-agent reinforcement learning (RL) by reframing control task as probabilistic inference problem。 しかし、CAIのマルチエージェント・汎用確率ゲーム(SGs)への拡張は、特にエージェントが集中的な調整なしに独立に動作する分散環境では、未探索のままである。 本稿では,分散マルチエージェントシステムに適した新しい変分推論フレームワークを提案する。 我々のフレームワークは、非定常性と非整合エージェントの目的によって引き起こされる課題に対処し、その結果のポリシーが$\epsilon$-Nash均衡を形成することを証明した。 さらに,提案した分散アルゴリズムに対する理論的収束保証を示す。 この枠組みを利用して、厳密な理論的収束解析を用いて、ナッシュ均衡、平均場ナッシュ均衡、相関平衡を解くために複数のアルゴリズムをインスタンス化する。

関連論文リスト

• Efficient and Scalable Deep Reinforcement Learning for Mean Field Control Games [16.62770187749295]
  平均場制御ゲーム(MFCG)は、無限に多くの相互作用するエージェントのシステムを解析するための強力な理論的枠組みを提供する。 本稿では,MFCGの近似平衡解に対する拡張性のある深層強化学習(RL)手法を提案する。
  論文  参考訳（メタデータ） (2024-12-28T02:04:53Z)
• Robust Adversarial Reinforcement Learning via Bounded Rationality Curricula [23.80052541774509]
  敵強化学習は、競争力のあるゼロサムマルコフゲームにおいて、敵が行使する不安定化力に対する主人公を訓練する。 ナッシュ平衡を見つけるには、複雑なサドル点最適化問題に直面する必要がある。 本稿では,サドル点最適化問題の複雑性を軽減するために,エントロピー正則化に基づく対向RLの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-03T00:00:32Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• On the Complexity of Multi-Agent Decision Making: From Learning in Games to Partial Monitoring [105.13668993076801]
  マルチエージェント強化学習(MARL)理論における中心的な問題は、構造条件やアルゴリズムの原理がサンプル効率の学習保証につながるかを理解することである。 本稿では,複数のエージェントを用いた対話型意思決定のための一般的な枠組みとして,この問題について考察する。 マルチエージェント意思決定における統計的複雑性を特徴付けることは、単一エージェント決定の統計的複雑性を特徴付けることと等価であることを示す。
  論文  参考訳（メタデータ） (2023-05-01T06:46:22Z)
• Faster Last-iterate Convergence of Policy Optimization in Zero-Sum Markov Games [63.60117916422867]
  本稿では,対戦型マルチエージェントRLの最も基本的な設定,すなわち2プレーヤゼロサムマルコフゲームに焦点を当てる。 両エージェントから対称更新を施した単一ループポリシー最適化手法を提案し,この手法はエントロピー規則化楽観的乗算重み更新法(OMWU)によって更新される。 我々の収束結果は、最もよく知られた複雑性を改善し、競合するマルコフゲームにおけるポリシー最適化をよりよく理解する。
  論文  参考訳（メタデータ） (2022-10-03T16:05:43Z)
• Pareto Actor-Critic for Equilibrium Selection in Multi-Agent Reinforcement Learning [18.20664209675016]
  この研究は、競合しないマルチエージェントゲームにおける平衡選択に焦点を当てている。 Pareto Actor-Critic (Pareto-AC)は、すべてのエージェントのリターンを最大化するアクター批判アルゴリズムである。
  論文  参考訳（メタデータ） (2022-09-28T18:14:34Z)
• Monotonic Improvement Guarantees under Non-stationarity for Decentralized PPO [66.5384483339413]
  我々は,MARL(Multi-Agent Reinforcement Learning)における分散政策の最適化のための新しい単調改善保証を提案する。 本研究では,訓練中のエージェント数に基づいて,独立した比率を限定することにより,信頼領域の制約を原則的に効果的に実施可能であることを示す。
  論文  参考訳（メタデータ） (2022-01-31T20:39:48Z)
• Finite-Sample Analysis of Decentralized Q-Learning for Stochastic Games [3.441021278275805]
  ゲームにおける学習は、多エージェント強化学習(MARL)における最も標準的で基本的な設定であることは間違いない。 汎用近似ゲーム(SG)の重要なクラスにおいて、完全分散Q-ラーニングアルゴリズムの有限サンプル複雑性を確立する。 我々は,各エージェントが報酬や他のエージェントの行動を観察できないような,完全に分散化されたMARLの実践的かつ挑戦的な設定に焦点をあてる。
  論文  参考訳（メタデータ） (2021-12-15T03:33:39Z)
• Calibration of Shared Equilibria in General Sum Partially Observable Markov Games [15.572157454411533]
  我々は、異なるタイプのエージェントが単一のポリシーネットワークを共有する、一般的な可観測マルコフゲームを考える。 本稿は,そのようなエージェントが到達した平衡を形式的に理解すること,および,そのような平衡の創発的な現象を現実のターゲットに合わせることを目的としている。
  論文  参考訳（メタデータ） (2020-06-23T15:14:20Z)
• Decentralized MCTS via Learned Teammate Models [89.24858306636816]
  本稿では,モンテカルロ木探索に基づくトレーニング可能なオンライン分散計画アルゴリズムを提案する。 深層学習と畳み込みニューラルネットワークを用いて正確なポリシー近似を作成可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-19T13:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。