論文の概要: Partially Observable Multi-agent RL with (Quasi-)Efficiency: The
Blessing of Information Sharing
- arxiv url: http://arxiv.org/abs/2308.08705v2
- Date: Thu, 29 Feb 2024 04:25:14 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:52:44.501204
- Title: Partially Observable Multi-agent RL with (Quasi-)Efficiency: The
Blessing of Information Sharing
- Title(参考訳): Quasi-) 能率を持つ部分観測可能なマルチエージェントRL:情報共有の祝福
- Authors: Xiangyu Liu, Kaiqing Zhang
- Abstract要約: 部分的に観察可能なゲーム(POSG)の一般的な枠組みにおける証明可能なマルチエージェント強化学習(MARL)について検討する。
我々は,エージェント間での情報共有の可能性,経験的MARLにおける一般的な実践,コミュニケーションを伴うマルチエージェント制御システムの標準モデルを活用することを提唱する。
- 参考スコア(独自算出の注目度): 39.15744391171533
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study provable multi-agent reinforcement learning (MARL) in the general
framework of partially observable stochastic games (POSGs). To circumvent the
known hardness results and the use of computationally intractable oracles, we
advocate leveraging the potential \emph{information-sharing} among agents, a
common practice in empirical MARL, and a standard model for multi-agent control
systems with communications. We first establish several computation complexity
results to justify the necessity of information-sharing, as well as the
observability assumption that has enabled quasi-efficient single-agent RL with
partial observations, for computational efficiency in solving POSGs. We then
propose to further \emph{approximate} the shared common information to
construct an {approximate model} of the POSG, in which planning an approximate
equilibrium (in terms of solving the original POSG) can be quasi-efficient,
i.e., of quasi-polynomial-time, under the aforementioned assumptions.
Furthermore, we develop a partially observable MARL algorithm that is both
statistically and computationally quasi-efficient. We hope our study may open
up the possibilities of leveraging and even designing different
\emph{information structures}, for developing both sample- and
computation-efficient partially observable MARL.
- Abstract(参考訳): 証明可能なマルチエージェント強化学習(MARL)を部分的に観察可能な確率ゲーム(POSG)の一般的な枠組みで研究する。
既知の難易度結果と計算難解なオラクルの使用を回避するため,エージェント間でのemph{information-sharing}の可能性,実証的MARLにおける一般的な実践,コミュニケーションを伴うマルチエージェント制御システムの標準モデルを活用することを提唱する。
まず、POSGを解く際の計算効率を高めるために、情報共有の必要性を正当化する計算複雑性結果と、部分的な観測で準効率のシングルエージェントRLを実現した観測可能性の仮定を確立する。
次に、POSG の {approximate model} を構築するために共有共通情報を更に \emph{approximate} として提案し、上記の仮定の下で近似均衡(元の POSG の解法)を計画することは準効率、すなわち準多項式時間(quasi-polynomial-time)である。
さらに,統計学的および計算学的に準効率な部分可観測marlアルゴリズムを開発した。
我々は、サンプルと計算効率の良い部分観測可能なMARLの開発に、異なる 'emph{information structures} を活用、設計する可能性を開くことを願っている。
関連論文リスト
- Collaborative Learning with Different Labeling Functions [8.53926206853583]
我々は、$n$のデータ分布ごとに正確な分類器を学習することを目的とした、協調型PAC学習の亜種について研究する。
データ分布がより弱い実現可能性の仮定を満たす場合、サンプル効率の学習は依然として可能であることを示す。
論文 参考訳(メタデータ) (2024-02-16T04:32:22Z) - Model-Based RL for Mean-Field Games is not Statistically Harder than
Single-Agent RL [64.90038012690403]
モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。
本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
論文 参考訳(メタデータ) (2024-02-08T14:54:47Z) - Distributed Learning of Mixtures of Experts [0.0]
私たちは、自然に分散されたデータセットや、計算を分散する潜在的に大きなデータセットを扱います。
本研究では,データ分散サブセットに並列に適合する局所的推定器から還元推定器を構築するために,専門家(MoE)モデルとアグリゲーション戦略を併用した分散学習手法を提案する。
論文 参考訳(メタデータ) (2023-12-15T15:26:13Z) - Sample-Efficient Multi-Agent RL: An Optimization Perspective [103.35353196535544]
一般関数近似に基づく汎用マルコフゲーム(MG)のためのマルチエージェント強化学習(MARL)について検討した。
汎用MGに対するマルチエージェントデカップリング係数(MADC)と呼ばれる新しい複雑性尺度を導入する。
我々のアルゴリズムは既存の研究に匹敵するサブリニアな後悔を与えることを示す。
論文 参考訳(メタデータ) (2023-10-10T01:39:04Z) - Max-Sliced Mutual Information [17.667315953598788]
高次元の確率変数間の依存性の定量化は、統計的学習と推論の中心である。
2つの古典的手法は正準相関解析 (CCA) であり、これは元の変数の最大相関型を識別するものであり、シャノンの相互情報は普遍的依存度である。
本研究は、最大スライシング相互情報(mSMI)と呼ばれるCCAのスケーラブルな情報理論の一般化という形で中間層を提案する。
論文 参考訳(メタデータ) (2023-09-28T06:49:25Z) - Optimistic MLE -- A Generic Model-based Algorithm for Partially
Observable Sequential Decision Making [48.87943416098096]
本稿では,一般的な逐次決定のための簡単な学習アルゴリズムを提案する。
我々は,OMLEが極めて豊富な逐次的意思決定問題のクラスにおいて,ほぼ最適ポリシーを学習していることを証明する。
論文 参考訳(メタデータ) (2022-09-29T17:56:25Z) - Efficient Model-based Multi-agent Reinforcement Learning via Optimistic
Equilibrium Computation [93.52573037053449]
H-MARL (Hallucinated Multi-Agent Reinforcement Learning) は,環境と数回交流した後の平衡政策を学習する。
自律運転シミュレーションベンチマークにおいて,本手法を実験的に実証した。
論文 参考訳(メタデータ) (2022-03-14T17:24:03Z) - Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。
本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。
自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
論文 参考訳(メタデータ) (2021-06-07T17:47:16Z) - Information State Embedding in Partially Observable Cooperative
Multi-Agent Reinforcement Learning [19.617644643147948]
エージェントの履歴を圧縮する情報状態埋め込みの概念を導入する。
圧縮誤差が分散制御における結果値関数にどのように影響するかを定量化する。
提案された組込み学習パイプラインは、既存の(部分的に観測可能な)MARLアルゴリズムのブラックボックスを開く。
論文 参考訳(メタデータ) (2020-04-02T16:03:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。