論文の概要: Decentralized Multi-Player Q-Learning in Episodic Markov Decision Processes with Information Asymmetry
- arxiv url: http://arxiv.org/abs/2608.12753v1
- Date: Thu, 13 Aug 2026 03:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.373697
- Title: Decentralized Multi-Player Q-Learning in Episodic Markov Decision Processes with Information Asymmetry
- Title（参考訳）: 情報非対称性を持つエピソードマルコフ決定過程における分散多人数Qラーニング
- Abstract要約: 情報非対称性下での分散学習は、単エージェントQ-ラーニングレートであるcitejin2018qを対数因子に一致させる。
問題C: textttmEXC と textttmEXC-Bellman は、2相探索列コミットアルゴリズムである。
- 参考スコア（独自算出の注目度）: 1.3700362496838856
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study decentralized multi-player reinforcement learning in episodic tabular Markov decision processes (MDPs) under three forms of information asymmetry: (A) unobserved actions with common rewards, (B) observed actions with independent rewards, and (C) unobserved actions with independent rewards. Players cannot communicate during learning but may agree on a protocol a priori. For Problems A and B we propose \texttt{mQ-learning} and \texttt{mQ-learning-intervals}, achieving $\tilde{O}(\sqrt{H^4 S A_{\text{joint}}\, T})$ regret, where $H$ is the horizon, $S$ the state count, $T = KH$ the total steps, and $A_{\text{joint}} = \prod_{i=1}^M |\mathcal{A}_i|$ the joint action space across $M$ players. For Problem C we give \texttt{mEXC} and \texttt{mEXC-Bellman}, two-phase explore-then-commit algorithms with regret $\tilde{O}(H (S A_{\text{joint}})^{1/3} T^{2/3})$. Against the centralized joint-action benchmark, decentralized learning under information asymmetry matches the single-agent Q-learning rate of \cite{jin2018q} up to logarithmic factors. Because $A_{\text{joint}}$ grows exponentially in $M$, the bounds are most meaningful for small $M$ or small per-player action sets.
- Abstract（参考訳）: 表層表層マルコフ決定過程(MDP)における分散マルチプレイヤー強化学習を, (A) 共通報酬を伴う観測されていない行動, (B) 独立報酬を伴う観測された行動, (C) 独立報酬を伴う観測されていない行動の3つの形態で研究した。
プレイヤーは学習中にコミュニケーションすることができないが、プロトコルに先立って合意することもある。
問題 A と B に対して \texttt{mQ-learning} と \texttt{mQ-learning-intervals}, achieved $\tilde{O}(\sqrt{H^4 S A_{\text{joint}}\, T})$ regret, where $H$ is the horizon, $S$ the state count, $T = KH$ the total steps, $A_{\text{joint}} = \prod_{i=1}^M |\mathcal{A}_i|$ the joint action space across $M$ player。
問題 C に対して、\tilde{O}(H (S A_{\text{joint}})^{1/3} T^{2/3})$ の 2 相探索列圧縮アルゴリズムである、textt{mEXC} と \texttt{mEXC-Bellman} を与える。
集中的な共同行動ベンチマークに対して、情報非対称性の下での分散学習は、単エージェントのQ-ラーニングレートである \cite{jin2018q} を対数因子に一致させる。
A_{\text{joint}}$は$M$で指数関数的に成長するので、小さな$M$または小さなプレーヤ毎のアクションセットに対して最も意味がある。
関連論文リスト
- The Price of Decentralization in Top-$K$ Arm Identification [1.3700362496838856]
マルチエージェント・マルチアーム・バンディットにおけるトップ$K$のジョイントアーム識別について検討する。
エージェントは、ジョイントアームを構成する個々のアクションを同時に選択する。
共有逆同定は1つの普遍対数係数まで最適であることを示す。
論文 参考訳（メタデータ） (2026-08-22T22:22:06Z) - Online Learning in MDPs with Partially Adversarial Transitions and Losses [42.59565593884281]
遷移関数がほとんどのステップであるが,1エピソードあたり$$$の固定サブセットで逆向きに振る舞うことができるMDPの強化学習について検討した。
両エピソードの相違が相変わらず安定なエンプレクショナル・コンディショニング・コンディショナー(Emphconditioned occupancy measures)を導入する。
我々は,全情報フィードバックと盗賊フィードバックの両面から,敵対的MDPの反抗的設定(=H-1$)の後悔を特徴づける。
論文 参考訳（メタデータ） (2026-02-10T07:13:11Z) - Sample Complexity of Average-Reward Q-Learning: From Single-agent to Federated Reinforcement Learning [51.820005667020354]
有限状態と作用空間を持つ平均回帰型MDPに対して、弱い通信仮定の下で、単純だが効果的なQ-ラーニングアルゴリズムについて検討する。
We proof that the collaborations the per-agent sample complexitys to $widetildeOleft(frac|mathcalA||hstar|_mathsfsp3Mvarepsilon3right)$, with only $widetildeOleft(frac|hstar|_mathsfsp3Mvareps)。
論文 参考訳（メタデータ） (2026-01-20T06:21:54Z) - Multiple-play Stochastic Bandits with Prioritized Arm Capacity Sharing [52.124267908936396]
このモデルは、$M$armと$K$playで構成されている。
各アームには複数の能力があり、各ユニットの能力は報酬関数に関連付けられている。
複数のプレーがアームキャパシティを競う場合、アームキャパシティは第1の優先重みで割り当てられる。
論文 参考訳（メタデータ） (2025-12-25T11:19:09Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Reward-Mixing MDPs with a Few Latent Contexts are Learnable [75.17357040707347]
報酬混合マルコフ決定過程(RMMDP)におけるエピソード強化学習の検討
我々のゴールは、そのようなモデルにおける時間段階の累積報酬をほぼ最大化する、ほぼ最適に近いポリシーを学ぶことである。
論文 参考訳（メタデータ） (2022-10-05T22:52:00Z) - Minimax-Optimal Multi-Agent RL in Zero-Sum Markov Games With a
Generative Model [50.38446482252857]
2人プレイのゼロサムマルコフゲームは多エージェント強化学習においておそらく最も基本的な設定である。
我々は,$$ widetildeObiggを用いて,$varepsilon$-approximate Markov NEポリシーを学習する学習アルゴリズムを開発した。
我々は、分散型量の役割を明確にするFTRLに対する洗練された後悔境界を導出する。
論文 参考訳（メタデータ） (2022-08-22T17:24:55Z) - Horizon-Free Reinforcement Learning in Polynomial Time: the Power of
Stationary Policies [88.75843804630772]
我々は既存の境界に対して,$Oleft(mathrmpoly(S,A,log K)sqrtKright)を後悔するアルゴリズムを設計する。
この結果は、定常政策の近似力、安定性、および濃度特性を確立する新しい構造補題の列に依存している。
論文 参考訳（メタデータ） (2022-03-24T08:14:12Z) - Decentralized Cooperative Reinforcement Learning with Hierarchical
Information Structure [14.919120396838208]
本稿では,2エージェントマルチアームバンド (MABs) とマルコフ決定プロセス (MDPs) を,アプリケーションに生じる階層的情報構造を用いて検討する。
それぞれのステップにおいて、"リーダー"はまず彼女の行動を選択し、その後に"フォロワー"はリーダーの行動を観察して自分の行動を決定する。
MDP設定の場合、$widetildemathcalO(sqrtH7S2ABT)$ regret, where $H$ is the number of episode, $S$ is the number of states。
論文 参考訳（メタデータ） (2021-11-01T09:18:07Z) - When Can We Learn General-Sum Markov Games with a Large Number of
Players Sample-Efficiently? [10.397170312149067]
本稿では,m$-player General-sum Markovゲームの設定において,学習目標がより優れたサンプル複雑性を許容するものについて検討する。
まず,$epsilon$-Coarse Correlated Equilibrium (CCE)を$widetildemathcalO(H5Smax_ile m A_i / epsilon2)$ episodesで学習するアルゴリズムを設計する。
第二に、マルコフポテンシャルゲームの重要な特別な場合を考え、$widet内で$epsilon$-approximate Nash平衡を学ぶアルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-10-08T15:06:22Z) - Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。
経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
論文 参考訳（メタデータ） (2021-03-25T18:52:17Z) - Near-Optimal Reinforcement Learning with Self-Play [50.29853537456737]
我々は,直接の監督なしに自己対決で最適な政策を学習するセルフプレイアルゴリズムに焦点をあてる。
本稿では,サンプル複雑性を$tildemathcalO(SAB)$,サンプル複雑性を$tildemathcalO(S(A+B)$とする新しいemphNash Vラーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-22T05:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。