論文の概要: An Axiomatic Framework for Reinforcement Learning in Open Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2611.03301v1
• Date: Mon, 02 Nov 2026 15:36:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:17:09.844095
• Title: An Axiomatic Framework for Reinforcement Learning in Open Multi-Agent Systems
• Title（参考訳）: オープンマルチエージェントシステムにおける強化学習のための公理的フレームワーク
• Abstract要約: n-agent adhoc teamwork (NAHT)は、オープンなマルチエージェント環境で学習するためのフレームワークである。 本稿では,Shapley公理から値関数学習を導出する公理的枠組みを提案する。 個々の値関数の学習にこれらの公理を適用することで、Dec-POMDPのShapley値が復元されることを示す。
• 参考スコア（独自算出の注目度）: 26.84101040056939
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open multi-agent systems, where only a subset of agents are controllable, are central to real-world domains such as smart grids, yet lack a principled foundation for reinforcement learning algorithm design. We study this setting through n-agent ad hoc teamwork (NAHT), a recent framework for learning in open multi-agent environments. We propose an axiomatic framework that derives value function learning from the Shapley axioms (Efficiency, Symmetry and Linearity), treating them as structural constraints rather than heuristic design choices. This formulation builds on a novel NAHT decomposition, which characterises the fundamental difference between open and fully controllable multi-agent systems, and establishes a cooperative game-theoretic foundation for learning. We further show that enforcing these axioms on learning individual value functions recovers the Shapley value for Dec-POMDPs, providing a principled bridge between reinforcement learning and classical cooperative game theory. Building on this framework, we introduce Shapley Machines and Banzhaf Machines, two generic algorithmic templates that can be instantiated with standard reinforcement learning methods. When applied to strong base algorithms such as IPPO and POAM, our methods consistently improve learning efficiency and generalisation to unseen agent types and conventions across NAHT benchmark tasks. The code of experiments is published on https://github.com/hsvgbkhgbv/axiomatic-rl-naht.
• Abstract（参考訳）: エージェントのサブセットのみが制御可能なオープンマルチエージェントシステムは、スマートグリッドのような現実世界のドメインの中心であるが、強化学習アルゴリズム設計の原則的な基盤は欠如している。 オープンなマルチエージェント環境での学習フレームワークであるNAHT(n-agent adhoc teamwork)を用いて,この設定について検討する。 本稿では,シャプリー公理(効率,対称性,線形性)から価値関数学習を導出する公理的枠組みを提案し,それらをヒューリスティックな設計選択ではなく構造的制約として扱う。 この定式化は、オープンと完全制御可能なマルチエージェントシステムの根本的な違いを特徴付ける新しいNAHT分解に基づいており、学習のための協調ゲーム理論の基礎を確立している。 さらに,これらの公理を個別値関数の学習に適用することで,Dec-POMDPのシェープリー値が回復し,強化学習と古典的協調ゲーム理論の原則的ブリッジとなることを示す。 このフレームワーク上に構築されたShapley MachinesとBanzhaf Machinesは、標準的な強化学習手法でインスタンス化できる2つの汎用アルゴリズムテンプレートである。 IPPOやPOAMといった強力なベースアルゴリズムに適用すると、学習効率の向上とNAHTベンチマークタスクにおける未確認エージェントタイプや規約の一般化が一貫して行われます。 実験のコードはhttps://github.com/hsvgbkhgbv/axiomatic-rl-nahtで公開されている。

関連論文リスト

• Topological Structure Learning Should Be A Research Priority for LLM-Based Multi-Agent Systems [69.95482609893236]
  大規模言語モデルに基づくマルチエージェントシステム(MAS)は、協調的な知性によって複雑なタスクに取り組むための強力なパラダイムとして登場した。 我々は,エージェント間相互作用の構造を明示的にモデル化し,動的に最適化する,エフェトロジーを意識したMASへのパラダイムシフトを求める。
  論文  参考訳（メタデータ） (2025-05-28T15:20:09Z)
• Coagent Networks: Generalized and Scaled [44.06183176712763]
  強化学習のためのCoagent Network(RL)は、原則学習規則を導出するための強力で柔軟なフレームワークを提供する。 この研究は、過去の研究によって提供される共役理論と学習規則を一般化する。 バックプロパゲーションを使用しないポリシーネットワークを持つコヒーレントアルゴリズムは、挑戦的なRLドメインにスケール可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-16T22:41:56Z)
• Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning [89.31889875864599]
  マルチエージェントシステムにおける学習に有効なモデルベース強化学習アルゴリズムを提案する。 我々の理論的な貢献は、MFCのモデルベース強化学習における最初の一般的な後悔の限界である。 コア最適化問題の実用的なパラメトリゼーションを提供する。
  論文  参考訳（メタデータ） (2021-07-08T18:01:02Z)
• SUNRISE: A Simple Unified Framework for Ensemble Learning in Deep Reinforcement Learning [102.78958681141577]
  SUNRISEは単純な統一アンサンブル法であり、様々な非政治的な深層強化学習アルゴリズムと互換性がある。 SUNRISEは, (a) アンサンブルに基づく重み付きベルマンバックアップと, (b) 最上位の自信境界を用いて行動を選択する推論手法を統合し, 効率的な探索を行う。
  論文  参考訳（メタデータ） (2020-07-09T17:08:44Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)
• F2A2: Flexible Fully-decentralized Approximate Actor-critic for Cooperative Multi-agent Reinforcement Learning [110.35516334788687]
  分散マルチエージェント強化学習アルゴリズムは複雑なアプリケーションでは実践的でないことがある。 本稿では,大規模で汎用的なマルチエージェント設定を扱える,柔軟な完全分散型アクター批判型MARLフレームワークを提案する。 当社のフレームワークは,大規模環境におけるスケーラビリティと安定性を実現し,情報伝達を低減できる。
  論文  参考訳（メタデータ） (2020-04-17T14:56:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。