論文の概要: Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards

• arxiv url: http://arxiv.org/abs/2610.17893v1
• Date: Tue, 13 Oct 2026 07:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.548401
• Title: Training LLMs for Multi-Agent Collaboration with Verifiable Information Rewards
• Title（参考訳）: 検証可能な情報リワードを用いた多エージェント協調のためのLLMの訓練
• Abstract要約: 本稿では,CoSIR(CoSIR:Collaboration via Surprisal-based Information Rewards)を紹介する。 本稿では,適切な選択肢に割り当てられた負のログ確率の和として定義されたチーム・サプライサルの削減によって共有情報をスコアするベイズ評価器を提案する。 学習後,Qwen3-4B,Qwen3-8B,Gemma-3-4B-itを自己再生し,未知の7つの自然言語協調タスクへの移動を評価する。
• 参考スコア（独自算出の注目度）: 60.95806999869478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective collaboration among large language model (LLM) agents in multi-agent systems requires sharing relevant evidence, requesting missing information, and incorporating teammates' contributions into decisions. Training these behaviors is challenging because final task outcomes provide limited feedback on the value of individual messages. We introduce CoSIR (Collaboration via Surprisal-based Information Rewards), a post-training approach that uses a simple, verifiable environment to teach collaboration behaviors that generalize to more complex, unseen tasks. We propose a Bayesian evaluator that scores shared information by its reduction in team surprisal, defined as the sum of the negative log probabilities assigned to the correct option given each agent's available evidence. Requests are scored by the potential reduction in the same quantity if the requested information were truthfully provided. Separate rewards encourage agents to use the received information in their private choices and calculations. We post-train Qwen3-4B, Qwen3-8B, and Gemma-3-4B-it through self-play and evaluate transfer to seven unseen natural-language collaboration tasks. CoSIR achieves the highest aggregate score, while its performance in general tasks remains competitive. Behavioral analyses show increased disclosure of private evidence and fewer judged failures to use teammates' input.
• Abstract（参考訳）: マルチエージェントシステムにおける大規模言語モデル(LLM)エージェント間の効果的なコラボレーションには、関連する証拠を共有し、行方不明の情報を要求し、チームメイトの貢献を意思決定に組み込む必要がある。 なぜなら、最終的なタスクの結果は個々のメッセージの価値に対して限られたフィードバックを与えてくれるからです。 CoSIR(CoSIR:Collaboration via Surprisal-based Information Rewards)は、単純な検証可能な環境を用いて、より複雑で目に見えないタスクに一般化するコラボレーション行動を教えるポストトレーニング手法である。 提案するベイズ評価器は,各エージェントが利用可能な証拠から,正解に割り当てられた負のログ確率の和として定義される,チーム・サプライサルの削減によって共有情報をスコアリングする。 リクエストは、要求された情報が真実に提供された場合、同じ量の潜在的な削減によってスコアされる。 個別の報酬は、受信した情報をプライベートな選択と計算に利用するよう、エージェントに促す。 学習後,Qwen3-4B,Qwen3-8B,Gemma-3-4B-itを自己再生し,未知の7つの自然言語協調タスクへの移動を評価する。 CoSIRは最高スコアを獲得し、一般的なタスクにおけるパフォーマンスは競争力を維持している。 行動分析は、個人的証拠の開示が増加し、チームメイトのインプットを使用するための判断された失敗が少ないことを示している。

関連論文リスト

• Beyond Perfect Teammates: Multi-Agent Collaboration with Unreliable Colleagues [41.90964421829607]
  我々は,信頼できない証拠収集プロセスの回復能力からタスク解決能力の分離を図るために,UncoBench(Unreliable Colleagues Benchmark)を導入する。 10モデルにわたる結果は、同様の信頼性の高い設定性能が、信頼性の低い証拠と異なるロバスト性をもたらすことを示している。
  論文  参考訳（メタデータ） (2026-10-12T03:31:54Z)
• CLEAT: Learning Value-Guided Clarification for Interactive Agents [50.63941775694406]
  本研究では,対話型意図アライメントの課題を明確化を通じて検討する。 トレーニングが不完全な情報を扱う方法を変えると、同じ明確化が多かれ少なかれ有用になる。 CLEATは、共有インタラクション結果から明確化値コントローラとタスクポリシーを協調訓練するフレームワークである。
  論文  参考訳（メタデータ） (2026-10-08T19:22:21Z)
• Utilizing and Calibrating Hindsight Process Rewards via Reinforcement with Mutual Information Self-Evaluation [50.696688705287755]
  我々は、強化学習におけるスパース報酬課題を克服するために、相互情報自己評価を提案する。 MISEにより、エージェントは、疎外的信号を補う高密度な内部報酬から自律的に学習することができる。 我々は、後見自己評価報酬を利用することは、政策と代行報酬政策の間のKL分散項と相互情報を組み合わせた目的を最小化することと等価であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T15:18:51Z)
• On Information Self-Locking in Reinforcement Learning for Active Reasoning of LLM agents [33.32413617717957]
  アクティブな推論では、大きな言語モデル(LLM)エージェントは情報自己ロックに悩まされることが多い。 アクティブ推論は,行動選択(AS)と信念追跡(BT)の2つのコア機能に分解する。 我々は,ASとBTの不足が,RLトレーニング中の情報探索を制限することを示す。 そこで本稿では, 容易かつ効果的に指向性批判を注入することで, 学習信号を再配置する手法を提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:14:14Z)
• Learning to Summarize by Learning to Quiz: Adversarial Agentic Collaboration for Long Document Summarization [86.98098988779809]
  SummQは長期文書要約のための新しい逆多重エージェントフレームワークである。 提案手法では,包括的な要約を作成し,評価するために協調作業を行う要約ジェネレータとレビュアーを用いる。 広範に使用されている3つの文書要約ベンチマーク上でSummQを評価する。
  論文  参考訳（メタデータ） (2025-09-25T08:36:19Z)
• LLMs Can't Handle Peer Pressure: Crumbling under Multi-Agent Social Interactions [35.71511502901056]
  大規模言語モデル(LLM)は、コラボレーションインテリジェンスのコンポーネントとして、マルチエージェントシステムにますます多くデプロイされている。 LLMが過去の印象からの信頼をいかに形成し、誤報に抵抗し、相互作用中にピアインプットを統合するかを検討する。 KAIROSは、クイズコンテストをシミュレーションするベンチマークで、信頼性の異なるピアエージェントを提示する。
  論文  参考訳（メタデータ） (2025-08-24T09:58:10Z)
• Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
  マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。 経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。 推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
  論文  参考訳（メタデータ） (2025-05-29T07:24:37Z)
• Learning with Limited Shared Information in Multi-agent Multi-armed Bandit [28.82167431329527]
  マルチエージェントマルチアームバンディット(MAMAB)は古典的な協調学習モデルであり,近年注目されている。 本稿では,各エージェントが共有したい情報のみを共有する,制限付き共有情報マルチエージェントマルチアームバンド(LSI-MAMAB)モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-21T09:42:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。