論文の概要: Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem

• arxiv url: http://arxiv.org/abs/2509.15519v1
• Date: Fri, 19 Sep 2025 01:52:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.959054
• Title: Fully Decentralized Cooperative Multi-Agent Reinforcement Learning is A Context Modeling Problem
• Title（参考訳）: コンテキストモデリング問題としての完全分散協調型マルチエージェント強化学習
• Authors: Chao Li, Bingkun Bao, Yang Gao,
• Abstract要約: 本稿では,各エージェントが各状態,その局所行動,共有報酬のみを観察する,完全分散型協調型マルチエージェント強化学習について検討する。 他のエージェントのアクションにアクセスすることができないことは、値関数の更新や値関数の推定時の相対的な過一般化において非定常性をもたらすことが多い。 本研究では,各エージェントが局所的に認識するタスクをコンテキストマルコフ決定プロセスとして定式化する,DEC(Dynamics-Aware Context)という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 26.317044969022277
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: This paper studies fully decentralized cooperative multi-agent reinforcement learning, where each agent solely observes the states, its local actions, and the shared rewards. The inability to access other agents' actions often leads to non-stationarity during value function updates and relative overgeneralization during value function estimation, hindering effective cooperative policy learning. However, existing works fail to address both issues simultaneously, due to their inability to model the joint policy of other agents in a fully decentralized setting. To overcome this limitation, we propose a novel method named Dynamics-Aware Context (DAC), which formalizes the task, as locally perceived by each agent, as an Contextual Markov Decision Process, and further addresses both non-stationarity and relative overgeneralization through dynamics-aware context modeling. Specifically, DAC attributes the non-stationary local task dynamics of each agent to switches between unobserved contexts, each corresponding to a distinct joint policy. Then, DAC models the step-wise dynamics distribution using latent variables and refers to them as contexts. For each agent, DAC introduces a context-based value function to address the non-stationarity issue during value function update. For value function estimation, an optimistic marginal value is derived to promote the selection of cooperative actions, thereby addressing the relative overgeneralization issue. Experimentally, we evaluate DAC on various cooperative tasks (including matrix game, predator and prey, and SMAC), and its superior performance against multiple baselines validates its effectiveness.
• Abstract（参考訳）: 本稿では,各エージェントが各状態,その局所行動,共有報酬のみを観察する,完全分散型協調型マルチエージェント強化学習について検討する。 他のエージェントのアクションにアクセスすることができないことは、値関数の更新中に非定常性をもたらし、値関数の推定時に相対的な過一般化を引き起こし、効果的な協調政策学習を妨げる。 しかし、既存の作業は、完全に分散された環境で他のエージェントの合同ポリシーをモデル化できないため、両方の問題に同時に対処することができない。 この制限を克服するために,各エージェントが局所的に認識したタスクをコンテキストマルコフ決定プロセスとして形式化し,動的コンテキストモデリングによる非定常性と相対的過一般化の両方に対処する,DEC(Dynamics-Aware Context)という新しい手法を提案する。 具体的には、DACは各エージェントの非定常ローカルタスクダイナミクスを、それぞれ異なる共同ポリシーに対応する観測されていないコンテキスト間で切り替えるものである。 次に、DACは遅延変数を用いてステップワイズな動的分布をモデル化し、それらをコンテキストとして参照する。 各エージェントに対して、DACは、値関数の更新中に非定常問題に対処するコンテキストベースの値関数を導入する。 値関数推定では、楽観的な限界値が導出され、協調行動の選択が促進され、相対的な過一般化問題に対処する。 実験により, 各種協調作業(マトリクスゲーム, 捕食者, 捕食者, 捕食者, SMACなど)におけるDACの評価を行い, 複数のベースラインに対する優れた性能が検証された。

関連論文リスト

• Collaborative Value Function Estimation Under Model Mismatch: A Federated Temporal Difference Analysis [55.13545823385091]
  フェデレーション強化学習(FedRL)は、エージェント間のデータ交換を防止し、データのプライバシを維持しながら協調学習を可能にする。 現実世界のアプリケーションでは、各エージェントは若干異なる遷移ダイナミクスを経験し、固有のモデルミスマッチを引き起こす。 情報共有の適度なレベルでさえ、環境固有のエラーを著しく軽減することを示す。
  論文  参考訳（メタデータ） (2025-03-21T18:06:28Z)
• Causal Coordinated Concurrent Reinforcement Learning [8.654978787096807]
  本稿では,データ共有と協調探索のための新しいアルゴリズムフレームワークを提案する。 本アルゴリズムは,独立規制による個人差分制御モデルパラメータの抽出において,付加雑音モデル-混合モデル(ANM-MM)という形で因果推論アルゴリズムを利用する。 抽出したモデルパラメータの類似度に基づく新しいデータ共有方式を提案し, 自己回帰, 振り子, カートポールのスイングアップタスクのセットにおいて, 優れた学習速度を示す。
  論文  参考訳（メタデータ） (2024-01-31T17:20:28Z)
• Federated Natural Policy Gradient and Actor Critic Methods for Multi-task Reinforcement Learning [46.28771270378047]
  フェデレート強化学習(RL)は、ローカルデータトラジェクトリを共有することなく、複数の分散エージェントの協調的な意思決定を可能にする。 本研究では,環境の同じ遷移カーネルを共有しながら,各エージェントが異なるタスクに対応する個別の報酬関数を持つマルチタスク設定について考察する。 我々は、分散された方法で全てのエージェントの割引された全報酬の総和を最大化する、世界的な最適政策を学習する。
  論文  参考訳（メタデータ） (2023-11-01T00:15:18Z)
• Quantifying Agent Interaction in Multi-agent Reinforcement Learning for Cost-efficient Generalization [63.554226552130054]
  マルチエージェント強化学習(MARL)における一般化の課題 エージェントが未確認のコプレイヤーに影響される程度は、エージェントのポリシーと特定のシナリオに依存する。 与えられたシナリオと環境におけるエージェント間の相互作用強度を定量化する指標であるLoI(Level of Influence)を提示する。
  論文  参考訳（メタデータ） (2023-10-11T06:09:26Z)
• Context-Aware Bayesian Network Actor-Critic Methods for Cooperative Multi-Agent Reinforcement Learning [7.784991832712813]
  本稿では, エージェントの行動選択の相関関係を, 共同政策に導入するベイズネットワークを提案する。 本研究では,コンテキスト認識型ベイズ型ネットワークポリシを学習するための実用的なアルゴリズムを開発した。 MARLベンチマークの実証結果は,我々のアプローチの利点を示している。
  論文  参考訳（メタデータ） (2023-06-02T21:22:27Z)
• RACA: Relation-Aware Credit Assignment for Ad-Hoc Cooperation in Multi-Agent Deep Reinforcement Learning [55.55009081609396]
  本稿では、アドホックな協調シナリオにおいてゼロショットの一般化を実現するRACA(Relation-Aware Credit Assignment)と呼ばれる新しい手法を提案する。 RACAは、エージェント間のトポロジ構造を符号化するために、グラフベースのエンコーダ関係を利用する。 提案手法は,StarCraftIIマイクロマネジメントベンチマークとアドホック協調シナリオのベースライン手法よりも優れている。
  論文  参考訳（メタデータ） (2022-06-02T03:39:27Z)
• DSDF: An approach to handle stochastic agents in collaborative multi-agent reinforcement learning [0.0]
  ロボットの機能低下や老化によって引き起こされるエージェントの真偽が、協調の不確実性にどのように寄与するかを示す。 DSDFは不確実性に応じてエージェントの割引係数を調整し,その値を用いて個々のエージェントのユーティリティネットワークを更新する。
  論文  参考訳（メタデータ） (2021-09-14T12:02:28Z)
• Modeling the Interaction between Agents in Cooperative Multi-Agent Reinforcement Learning [2.9360071145551068]
  対話型アクター・クリティック(IAC)と呼ばれる新しい協調型MARLアルゴリズムを提案する。 IACは政策と価値関数の観点からエージェントの相互作用をモデル化する。 連続制御タスクに値分解手法を拡張し、古典的な制御やマルチエージェント粒子環境を含むベンチマークタスク上でIACを評価する。
  論文  参考訳（メタデータ） (2021-02-10T01:58:28Z)
• Dynamic Federated Learning [57.14673504239551]
  フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。 我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。 集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
  論文  参考訳（メタデータ） (2020-02-20T15:00:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。