論文の概要: Everyone Contributes! Incentivizing Strategic Cooperation in Multi-LLM Systems via Sequential Public Goods Games

• arxiv url: http://arxiv.org/abs/2508.02076v1
• Date: Mon, 04 Aug 2025 05:36:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.189023
• Title: Everyone Contributes! Incentivizing Strategic Cooperation in Multi-LLM Systems via Sequential Public Goods Games
• Title（参考訳）: コントリビューション! シークエンシャル・パブリック・グッズ・ゲームによるマルチLLMシステムにおける戦略的協力のインセンティブ
• Authors: Yunhao Liang, Yuan Qu, Jingyuan Yang, Shaochong Lin, Zuo-Jun Max Shen,
• Abstract要約: 多エージェント協調系列公共財ゲーム(MAC-SPGG) マルチLLMアンサンブルにおける協調を体系的に動機付けるための,ゲーム理論に基づく新しい強化学習フレームワークを提案する。 本研究は,スケーラブルで堅牢なマルチエージェント言語生成のための構造的,インセンティブに整合したMAC-SPGG協力の力を強調した。
• 参考スコア（独自算出の注目度）: 4.3891974840097925
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coordinating multiple large language models (LLMs) to solve complex tasks collaboratively poses a fundamental trade-off between the computation costs and collective performance compared with individual model. We introduce a novel, game-theoretically grounded reinforcement learning (RL) framework, the Multi-Agent Cooperation Sequential Public Goods Game (MAC-SPGG), to systematically incentivize cooperation in multi-LLM ensembles. In MAC-SPGG, LLM agents move in sequence, observing predecessors' outputs and updating beliefs to condition their own contributions. By redesigning the public-goods reward, effortful contributions become the unique Subgame Perfect Nash Equilibrium (SPNE), which eliminates free-riding under traditional SPGG or PGG. Its sequential protocol replaces costly round-based information exchanges with a streamlined decision flow, cutting communication overhead while retaining strategic depth. We prove the existence and uniqueness of the SPNE under realistic parameters, and empirically show that MAC-SPGG-trained ensembles outperform single-agent baselines, chain-of-thought prompting, and other cooperative methods, even achieving comparable performance to large-scale models across reasoning, math, code generation, and NLP tasks. Our results highlight the power of structured, incentive-aligned MAC-SPGG cooperation for scalable and robust multi-agent language generation.
• Abstract（参考訳）: 複数の大規模言語モデル(LLM)をコーディネートして複雑なタスクを協調的に解決することは、個々のモデルと比較して計算コストと集合的性能の間に根本的なトレードオフをもたらす。 マルチLLMアンサンブルにおける協調を体系的に動機付けるために,ゲーム理論に基づく強化学習(RL)フレームワークであるMAC-SPG(Multi-Agent Cooperation Sequential Public Goods Game)を導入する。 MAC-SPGGでは、LLMエージェントは順に動き、前任者の出力を観察し、自分自身の貢献を条件付けるために信条を更新する。 公共財の報酬を再設計することで、努力的な貢献は、伝統的なSPGGやPGGの下でのフリーライディングを排除する、SPNE(Subgame Perfect Nash Equilibrium)というユニークなサブゲームパーフェクト・ナッシュ・平衡(Subgame Perfect Nash Equilibrium)となる。 そのシーケンシャルプロトコルは、コストのかかるラウンドベースの情報交換を合理化された決定フローに置き換え、通信オーバーヘッドを削減し、戦略的な深さを維持する。 我々は,SPNEの存在と特異性を現実的なパラメータで証明し,MAC-SPGGが学習したアンサンブルが単一エージェントベースライン,チェーン・オブ・プルーピング,その他の協調的手法よりも優れており,推論,数学,コード生成,NLPタスクにまたがる大規模モデルに匹敵する性能を達成できることを示した。 本研究は,スケーラブルで堅牢なマルチエージェント言語生成のための構造的,インセンティブに整合したMAC-SPGG協力の力を強調した。

関連論文リスト

• Multi-Agent Collaboration via Evolving Orchestration [61.93162413517026]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な成果を上げているが、そのモノリシックな性質は複雑な問題解決におけるスケーラビリティと効率を制限している。 LLMをベースとしたマルチエージェントコラボレーションのためのパウチスタイルのパラダイムを提案し、中央オーケストレータがタスク状態の進化に応じてエージェントを動的に指示する。 クローズドドメインおよびオープンドメインシナリオの実験により,この手法は計算コストを低減し,優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2025-05-26T07:02:17Z)
• Offline Multi-agent Reinforcement Learning via Score Decomposition [51.23590397383217]
  オフライン協調型マルチエージェント強化学習(MARL)は、分散シフトによる固有の課題に直面している。 この作業は、オフラインとオンラインのMARL間の分散ギャップを明示的に解決する最初の作業である。
  論文  参考訳（メタデータ） (2025-05-09T11:42:31Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• ComaDICE: Offline Cooperative Multi-Agent Reinforcement Learning with Stationary Distribution Shift Regularization [11.620274237352026]
  オフライン強化学習(RL)は、事前に収集されたデータセットから効果的なポリシーを学習する能力において、大きな注目を集めている。 MARLは、大きな結合状態-作用空間とマルチエージェントの振る舞いの複雑さにより、さらなる課題を提起する。 定常分布空間に正規化器を導入し、分布シフトをよりよく処理する。
  論文  参考訳（メタデータ） (2024-10-02T18:56:10Z)
• Reaching Consensus in Cooperative Multi-Agent Reinforcement Learning with Goal Imagination [16.74629849552254]
  本稿では,複数のエージェントを協調するモデルに基づくコンセンサス機構を提案する。 提案したMulti-Adnt Goal Imagination (MAGI) フレームワークは、エージェントがImagined Common goalとコンセンサスに達するためのガイドである。 このような効率的なコンセンサス機構は、すべてのエージェントを協調して有用な将来状態に導くことができることを示す。
  論文  参考訳（メタデータ） (2024-03-05T18:07:34Z)
• Cooperation Dynamics in Multi-Agent Systems: Exploring Game-Theoretic Scenarios with Mean-Field Equilibria [0.0]
  本稿では,ゲーム理論のシナリオ,すなわちIterated Prisoner's Dilemmaにおける協調を呼び起こす戦略について検討する。 既存の協調戦略は、繰り返しゲームにおけるグループ指向行動を促進する効果について分析する。 この研究は、指数関数的に増加するエージェント集団のシナリオにまで及んでいる。
  論文  参考訳（メタデータ） (2023-09-28T08:57:01Z)
• Learning Reward Machines in Cooperative Multi-Agent Tasks [75.79805204646428]
  本稿では,MARL(Multi-Agent Reinforcement Learning)に対する新しいアプローチを提案する。 これは、協調的なタスク分解と、サブタスクの構造をコードする報酬機(RM)の学習を組み合わせる。 提案手法は、部分的に観測可能な環境下での報酬の非マルコフ的性質に対処するのに役立つ。
  論文  参考訳（メタデータ） (2023-03-24T15:12:28Z)
• Towards Global Optimality in Cooperative MARL with the Transformation And Distillation Framework [26.612749327414335]
  分散実行は協調型マルチエージェント強化学習(MARL)における中核的要求である 本稿では,マルチエージェントポリシー勾配法と値分解法という,分散ポリシを用いた2つの一般的なアルゴリズムのクラスを理論的に解析する。 我々は,TAD-PPO が有限マルチエージェント MDP において最適政策学習を理論的に行うことができることを示す。
  論文  参考訳（メタデータ） (2022-07-12T06:59:13Z)
• MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning [15.972363414919279]
  MMD-mixは分散強化学習と値分解を組み合わせた手法である。 実験により、MDD-mixはStar Multi-Agent Challenge (SMAC)環境において、以前のベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-22T10:21:00Z)
• MALib: A Parallel Framework for Population-based Multi-agent Reinforcement Learning [61.28547338576706]
  人口ベースマルチエージェント強化学習(PB-MARL)は、強化学習(RL)アルゴリズムでネストした一連の手法を指す。 PB-MARLのためのスケーラブルで効率的な計算フレームワークMALibを提案する。
  論文  参考訳（メタデータ） (2021-06-05T03:27:08Z)
• Cooperative Policy Learning with Pre-trained Heterogeneous Observation Representations [51.8796674904734]
  事前訓練された異種観察表現を用いた新たな協調学習フレームワークを提案する。 エンコーダ-デコーダに基づくグラフアテンションを用いて、複雑な相互作用と異種表現を学習する。
  論文  参考訳（メタデータ） (2020-12-24T04:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。