論文の概要: CoFi-PGMA: Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs

• arxiv url: http://arxiv.org/abs/2604.22785v1
• Date: Fri, 03 Apr 2026 22:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 02:32:14.180019
• Title: CoFi-PGMA: Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs
• Title（参考訳）: CoFi-PGMA:マルチエージェントLCMのフィルタフィードバックによる対実的政策勾配
• Authors: Stela Tong, Elai Ben-Gal,
• Abstract要約: マルチエージェントLLMシステムにおいて,フィルタフィードバック下で学習するための統合フレームワークであるCoFi-PGMAを紹介する。 提案手法は,経路と協調機構の両面から学習信号を補正する,限界貢献に基づく対実的エージェント単位の学習目標を導出する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) deployments increasingly rely on multi-agent architectures in which multiple models either compete through routing mechanisms or collaborate to produce a final answer. In both settings, the learning signal received by each agent is filtered by the system mechanism. Routing produces selection-gated feedback where only the chosen response is evaluated, while collaboration produces shared rewards that obscure the individual contribution of each agent. As a result, standard RLHF objectives designed for a single deployed policy become misspecified. We introduce CoFi-PGMA (Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs), a unified framework for learning under filtered feedback in multi-agent LLM systems. Our approach derives a counterfactual per-agent training objective based on marginal contribution, which corrects the learning signal under both routing and collaborative mechanisms. For routing systems, the objective corresponds to off-policy corrections for selection-gated feedback, while for collaborative systems it reduces to leave-one-out difference rewards for credit assignment. We further analyze how softmax routing induces risk-sensitive incentives and provide practical training algorithms that integrate counterfactual estimators, multiturn-aware rewards, and policy optimization methods, and demonstrate the approach on a real-world reasoning dataset.
• Abstract（参考訳）: 大規模言語モデル(LLM)のデプロイメントは、ルーティングメカニズムを介して競合するか、最終的な回答を得るために協力するかという、マルチエージェントアーキテクチャにますます依存している。 どちらの設定でも、各エージェントが受信した学習信号をシステム機構によってフィルタリングする。 ルーティングは選択済のフィードバックを生成し、選択された応答のみが評価され、コラボレーションは各エージェントの個々の貢献を曖昧にする共有報酬を生成する。 結果として、単一のデプロイポリシー用に設計された標準RLHF目標が誤って特定されることになった。 マルチエージェントLLMシステムにおけるフィルタフィードバック下での学習フレームワークであるCoFi-PGMA(Counterfactual Policy Gradients under Filtered Feedback for Multi-Agent LLMs)を紹介する。 提案手法は,経路と協調機構の両面から学習信号を補正する,限界貢献に基づく対実的エージェント単位の学習目標を導出する。 ルーティングシステムでは、選択権フィードバックのためのオフポリシー修正に対応し、コラボレーティブシステムでは、クレジット代入に対する一律の差分報酬を減らします。 さらに、ソフトマックスルーティングがいかにリスクに敏感なインセンティブを誘導するかを分析し、反ファクト的推定器、マルチターン対応報酬、ポリシー最適化手法を統合する実用的なトレーニングアルゴリズムを提供し、現実世界の推論データセットに対するアプローチを実証する。

関連論文リスト

• Counterfactual Credit Policy Optimization for Multi-Agent Collaboration [27.260904103460664]
  協調多エージェント大言語モデル(LLM)は、役割を分解し、多様な仮説を集約することで複雑な推論タスクを解くことができる。 本稿では,エージェント固有の学習信号を割り当てるフレームワークであるCCPOを紹介する。 CCPOは、エージェントのコントリビューションを除去して結果をシミュレートする動的反ファクト的ベースラインを構築する。
  論文  参考訳（メタデータ） (2026-03-23T04:35:02Z)
• MO-MIX: Multi-Objective Multi-Agent Cooperative Decision-Making With Deep Reinforcement Learning [68.91090643731987]
  深部強化学習(RL)は複雑な意思決定問題を解決するために広く応用されている。 既存のアプローチは、別々のフィールドに限られており、単一の目的でマルチエージェントの意思決定しか処理できない。 マルチオブジェクト型マルチエージェント強化学習(MOMARL)問題の解法としてMO-mixを提案する。
  論文  参考訳（メタデータ） (2026-02-28T16:25:22Z)
• Preference-Guided Learning for Sparse-Reward Multi-Agent Reinforcement Learning [15.034714081414691]
  少額の報酬のある環境におけるオンラインマルチエージェント強化学習(MARL)の課題について検討する。 中間報酬の欠如は、標準のMARLアルゴリズムがポリシー学習を効果的に導くのを妨げる。 本稿では,オンライン・逆選好学習とマルチエージェント・オン・ポリシー最適化を統合した新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-26T03:41:40Z)
• Collab: Controlled Decoding using Mixture of Agents for LLM Alignment [90.6117569025754]
  人間のフィードバックからの強化学習は、大規模言語モデルを整合させる効果的な手法として現れてきた。 制御された復号化は、再訓練せずに推論時にモデルを整列するメカニズムを提供する。 本稿では,既存の既成のLCMポリシを活用するエージェントベースのデコーディング戦略の混合を提案する。
  論文  参考訳（メタデータ） (2025-03-27T17:34:25Z)
• From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
  本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。 エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T10:35:11Z)
• Learning From Good Trajectories in Offline Multi-Agent Reinforcement Learning [98.07495732562654]
  オフラインマルチエージェント強化学習(MARL)は、事前コンパイルされたデータセットから効果的なマルチエージェントポリシーを学ぶことを目的としている。 オフラインのMARLが学んだエージェントは、しばしばこのランダムなポリシーを継承し、チーム全体のパフォーマンスを脅かす。 この問題に対処するために,共有個人軌道(SIT)と呼ばれる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-28T18:11:26Z)
• AoI-Aware Resource Allocation for Platoon-Based C-V2X Networks via Multi-Agent Multi-Task Reinforcement Learning [22.890835786710316]
  本稿は,小隊の無線リソース管理を意識した情報年齢(AoI)の問題について検討する。 複数の自律型プラトンは、C-V2X通信技術を利用して、協力的認識メッセージ(CAM)をフォロワーに広める。 我々は,マルチエージェント強化学習(marl)に基づく分散リソース割当フレームワークを活用し,各小隊リーダ(pl)がエージェントとして行動し,環境と相互作用して最適方針を学ぶ。
  論文  参考訳（メタデータ） (2021-05-10T08:39:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。