論文の概要: Counterfactual Credit Policy Optimization for Multi-Agent Collaboration

• arxiv url: http://arxiv.org/abs/2603.21563v1
• Date: Mon, 23 Mar 2026 04:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.485384
• Title: Counterfactual Credit Policy Optimization for Multi-Agent Collaboration
• Title（参考訳）: マルチエージェント協調のための対実的信用政策最適化
• Authors: Zhongyi Li, Wan Tian, Yikun Ban, Jinju Chen, Huiming Zhang, Yang Liu, Fuzhen Zhuang,
• Abstract要約: 協調多エージェント大言語モデル(LLM)は、役割を分解し、多様な仮説を集約することで複雑な推論タスクを解くことができる。 本稿では,エージェント固有の学習信号を割り当てるフレームワークであるCCPOを紹介する。 CCPOは、エージェントのコントリビューションを除去して結果をシミュレートする動的反ファクト的ベースラインを構築する。
• 参考スコア（独自算出の注目度）: 27.260904103460664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Collaborative multi-agent large language models (LLMs) can solve complex reasoning tasks by decomposing roles and aggregating diverse hypotheses. Yet, reinforcement learning (RL) for such systems is often undermined by credit assignment: a shared global reward obscures individual contributions, inflating update variance and encouraging free-riding. We introduce Counterfactual Credit Policy Optimization (CCPO), a framework that assigns agent-specific learning signals by estimating each agent's marginal contribution through counterfactual trajectories. CCPO builds dynamic counterfactual baselines that simulate outcomes with an agent's contribution removed, yielding role-sensitive advantages for policy optimization. To further improve stability under heterogeneous tasks and data distributions, we propose a global-history-aware normalization scheme that calibrates advantages using global rollout statistics. We evaluate CCPO on two collaboration topologies: a sequential Think--Reason dyad and multi-agent voting. Across mathematical and logical reasoning benchmarks, CCPO mitigates free-riding and outperforms strong multi-agent RL baselines, yielding finer-grained and more effective credit assignment for collaborative LLM training. Our code is available at https://github.com/bhai114/ccpo.
• Abstract（参考訳）: 協調多エージェント大言語モデル(LLM)は、役割を分解し、多様な仮説を集約することで複雑な推論タスクを解くことができる。 しかし、そのようなシステムのための強化学習(RL)は、クレジットの割り当てによってしばしば損なわれ、共有されたグローバルな報酬は個々の貢献を曖昧にし、更新の分散を膨らませ、自由な結束を促進する。 本稿では,各エージェントの限界貢献度を対実軌道を通じて推定することにより,エージェント固有の学習信号を割り当てるフレームワークであるCCPOを紹介する。 CCPOは、エージェントのコントリビューションを除去して結果をシミュレートする動的反事実ベースラインを構築し、ポリシー最適化にロールセンシティブな利点をもたらす。 不均質なタスクやデータ分布下での安定性をさらに向上するために,グローバルロールアウト統計を用いて利点を校正するグローバルヒストリー対応正規化手法を提案する。 CCPOを2つの協力トポロジー(シーケンシャルシンク-レーソンダイアドとマルチエージェント投票)で評価する。 数学的および論理的推論のベンチマーク全体にわたって、CCPOは自由線を緩和し、強力なマルチエージェントRLベースラインを上回り、協調LLMトレーニングにおいてよりきめ細やかで効果的なクレジット割り当てをもたらす。 私たちのコードはhttps://github.com/bhai114/ccpo.comから入手可能です。

関連論文リスト

• GDPO: Group reward-Decoupled Normalization Policy Optimization for Multi-reward RL Optimization [133.27496265096445]
  我々は,グループ相対的政策最適化を,その適合性を検討することなく,マルチリワード設定で適用する方法を示す。 次に、これらの問題を解決するための新しい政策最適化手法であるグループ報酬分離正規化政策最適化(GDPO)を紹介する。 GDPOはGRPOを一貫して上回り、マルチリワード強化学習最適化の有効性と一般化性を示す。
  論文  参考訳（メタデータ） (2026-01-08T18:59:24Z)
• Information Gain-based Policy Optimization: A Simple and Effective Approach for Multi-Turn LLM Agents [28.145430029174577]
  大規模言語モデル(LLM)ベースのエージェントは、外部環境と対話する能力を高めるために強化学習(RL)でますます訓練されている。 既存のアプローチは通常、最終回答でのみ提供される結果に基づく報酬に依存します。 本稿では,情報ゲインに基づくポリシー最適化(IGPO)を提案する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:32Z)
• Agentic Reinforcement Learning with Implicit Step Rewards [92.26560379363492]
  大規模言語モデル (LLMs) は強化学習 (agentic RL) を用いた自律的エージェントとして発展している。 我々は,標準RLアルゴリズムとシームレスに統合された一般的なクレジット割り当て戦略であるエージェントRL(iStar)について,暗黙的なステップ報酬を導入する。 我々は,WebShopとVisualSokobanを含む3つのエージェントベンチマークと,SOTOPIAにおける検証不可能な報酬とのオープンなソーシャルインタラクションについて評価した。
  論文  参考訳（メタデータ） (2025-09-23T16:15:42Z)
• Enhancing Diversity in Parallel Agents: A Maximum State Entropy Exploration Story [40.82741665804367]
  並列環境で収集したデータのエントロピーを最大化する新しい学習フレームワークを提案する。 提案手法は,個々のエージェントとエージェント間の多様性のエントロピーを慎重にバランスさせ,冗長性を効果的に最小化する。
  論文  参考訳（メタデータ） (2025-05-02T15:08:17Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• Redistributing Rewards Across Time and Agents for Multi-Agent Reinforcement Learning [14.852334980733369]
  共用型マルチエージェント強化学習において、各エージェントの共用報酬への貢献を阻害する信用割り当ては重要な課題である。 本稿では、この制約から信用モデリングを分離するアプローチであるTAR(Temporal-Agent Reward Redistribution)を導入する。 本手法は,モデル精度によらず最適ポリシーが維持されることを保証するPBRSと等価であることを示す。
  論文  参考訳（メタデータ） (2025-02-07T12:07:57Z)
• VinePPO: Refining Credit Assignment in RL Training of LLMs [66.80143024475635]
  我々は,言語環境の柔軟性を利用してモンテカルロをベースとした推定値を計算する,簡単なアプローチであるVinePPOを提案する。 本手法は,MATHおよびGSM8Kデータセット間のPPOおよび他のベースラインをウォールクロック時間以下で連続的に上回る。
  論文  参考訳（メタデータ） (2024-10-02T15:49:30Z)
• Learning Cooperative Multi-Agent Policies with Partial Reward Decoupling [13.915157044948364]
  マルチエージェント強化学習をスケールする上で重要な障害の1つは、個々のエージェントの行動にクレジットを割り当てることである。 本稿では,このクレジット代入問題に対して,PRD(textitpartial reward decoupling)と呼ぶアプローチで対処する。 PRDは、大規模な協調的マルチエージェントRL問題を、エージェントのサブセットを含む分離されたサブプロブレムに分解し、クレジット割り当てを単純化する。
  論文  参考訳（メタデータ） (2021-12-23T17:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。