論文の概要: Finite-Sample Convergence in Networked Average Reward MARL: Decentralization Pitfalls and Entropy Remedies

• arxiv url: http://arxiv.org/abs/2611.04072v1
• Date: Mon, 02 Nov 2026 23:34:29 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:33:32.678571
• Title: Finite-Sample Convergence in Networked Average Reward MARL: Decentralization Pitfalls and Entropy Remedies
• Title（参考訳）: ネットワーク平均リワードMARLにおける有限サンプル収束:分散化ピットフォールとエントロピー対策
• Abstract要約: エージェントがネットワーク内で対話するMARL(Multi-Agent Reinforcement Learning)について検討する。 我々はまず,グローバルな最適共同政策への収束を達成するために,不合理な結果を提供する。
• 参考スコア（独自算出の注目度）: 13.335642520575163
• License:
• Abstract: We study the problem of average reward Multi-Agent Reinforcement Learning (MARL) where agents interact within a network. Each agent in the network conducts local updates with information within its $k$-hop neighborhood and collaboratively maximizes the overall reward of the entire network. We first provide impossibility results in achieving convergence to the global optimal joint policies in our setting. These impossibility results highlight the challenges of decentralized learning with local information in multi-agent systems, namely the issues of multiagency, where each agent independently optimizes its policy, and partial observability, where agents have limited visibility into the global state. Given these challenges which indicate that decentralized policy optimization can generally be certified only up to stationarity, we provide finite-sample convergence guarantees for a decentralized actor-critic algorithm with linear function approximation that converges to an approximate stationary point with small gradient norm. To overcome such impossibility results, we further show that adding fixed-state entropy regularization reshapes the objective landscape which leads to even stronger global convergence guarantees for our proposed actor-critic algorithm.
• Abstract（参考訳）: エージェントがネットワーク内で対話するMARL(Multi-Agent Reinforcement Learning)について検討する。 ネットワーク内の各エージェントは、$k$-hopの近所の情報をローカルに更新し、ネットワーク全体の報酬を最大化する。 我々はまず,グローバルな最適共同政策への収束を達成するために,不合理な結果を提供する。 これらの不合理性の結果は、マルチエージェントシステムにおけるローカル情報による分散学習の課題、すなわち、エージェントが独自にポリシーを最適化するマルチエージェントの問題、そしてエージェントがグローバルな状態に限られた可視性を持つ部分的可観測性を強調している。 これらの課題から、分散化政策最適化は一般に定常性に限り認定可能であることを示すため、線形関数近似を持つ分散化アクター批判アルゴリズムに対して有限サンプル収束保証を提供し、勾配ノルムが小さい近似定常点に収束する。 このような不合理性を克服するために、固定状態エントロピー正規化を追加することで、我々の提案したアクタークリティカルアルゴリズムに対するより強力なグローバルコンバージェンス保証につながる、客観的な展望が再考される。

関連論文リスト

• Networked Communication for Mean-Field Games with Function Approximation and Empirical Mean-Field Estimation [59.01527054553122]
  分散エージェントは、経験的システムの非絶対的実行から平均フィールドゲームにおいて平衡を学ぶことができる。 既存の設定に関数近似を導入し,Munchausen Online Mirror Descent 方式で描画する。 ポリシー情報の交換は,ネットワーク化されたエージェントが,機能近似設定において,独立エージェントと集中エージェントの両方より優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-21T13:32:46Z)
• Distributed Optimization via Kernelized Multi-armed Bandits [6.04275169308491]
  分散最適化問題を異種報酬設定によるマルチエージェントカーネル化されたマルチアームバンディット問題としてモデル化する。 我々は,カーネルの一般的なクラスに対して,サブ線形なリフレッシュバウンドを実現するために,完全に分散化されたアルゴリズムであるマルチエージェントIGP-UCB(MA-IGP-UCB)を提案する。 また,Multi-agent Delayed IGP-UCB (MAD-IGP-UCB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-12-07T21:57:48Z)
• Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning [46.28771270378047]
  フェデレート強化学習(RL)は、ローカルデータトラジェクトリを共有することなく、複数の分散エージェントの協調的な意思決定を可能にする。 本研究では,環境の同じ遷移カーネルを共有しながら,各エージェントが異なるタスクに対応する個別の報酬関数を持つマルチタスク設定について考察する。 我々は、分散された方法で全てのエージェントの割引された全報酬の総和を最大化する、世界的な最適政策を学習する。
  論文  参考訳（メタデータ） (2023-11-01T00:15:18Z)
• Networked Communication for Decentralised Agents in Mean-Field Games [59.01527054553122]
  平均フィールドゲームフレームワークにネットワーク通信を導入する。 当社のアーキテクチャは、中央集権型と独立した学習ケースの双方で保証されていることを証明しています。 ネットワーク化されたアプローチは、障害の更新や人口規模の変化に対する堅牢性という点において、両方の選択肢に対して大きなメリットがあることが示されています。
  論文  参考訳（メタデータ） (2023-06-05T10:45:39Z)
• Global Convergence of Localized Policy Iteration in Networked Multi-Agent Reinforcement Learning [25.747559058350557]
  エージェントが与えられたネットワーク上で相互作用するマルチエージェント強化学習(MARL)問題について検討する。 エージェントの目標は、エントロピー規則化された長期報酬の平均を協調的に最大化することである。 次元の呪いを克服し,コミュニケーションを減らすために,ローカル情報のみを用いて,グローバルに近い最適政策を確実に学習するローカルポリシーイテレーション(LPI)を提案する。
  論文  参考訳（メタデータ） (2022-11-30T15:58:00Z)
• Convergence Rates of Average-Reward Multi-agent Reinforcement Learning via Randomized Linear Programming [41.30044824711509]
  我々は,グローバル報酬が地域報酬の総和であり,共同政策がエージェントの限界と州全体の可観測性に分解される場合に焦点を当てる。 エージェントが局所的なサドル点問題を解き、局所的な重み付き平均化を行うマルチエージェント拡張を開発する。 準グロブリー最適解を得るためのサンプルの複雑さは、状態空間と作用空間の濃度に対する厳密な依存と一致することを確かめる。
  論文  参考訳（メタデータ） (2021-10-22T03:48:41Z)
• Locality Matters: A Scalable Value Decomposition Approach for Cooperative Multi-Agent Reinforcement Learning [52.7873574425376]
  協調型マルチエージェント強化学習(MARL)は,エージェント数で指数関数的に大きい状態空間と動作空間により,スケーラビリティの問題に直面する。 本稿では,学習分散実行パラダイムに局所報酬を組み込んだ,新しい価値に基づくマルチエージェントアルゴリズム LOMAQ を提案する。
  論文  参考訳（メタデータ） (2021-09-22T10:08:15Z)
• Dealing with Non-Stationarity in Multi-Agent Reinforcement Learning via Trust Region Decomposition [52.06086375833474]
  非定常性は多エージェント強化学習における厄介な問題である。 ポリシーシーケンスの定常性を明示的にモデル化するための$delta$-stationarity測定を導入する。 共同政策の分岐を推定するために,メッセージパッシングに基づく信頼領域分解ネットワークを提案する。
  論文  参考訳（メタデータ） (2021-02-21T14:46:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。