論文の概要: From Delegation to Coordination: Learning Efficient Multi-Agent Deep Research
- arxiv url: http://arxiv.org/abs/2611.17041v1
- Date: Thu, 12 Nov 2026 16:26:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.549762
- Title: From Delegation to Coordination: Learning Efficient Multi-Agent Deep Research
- Title(参考訳): デリゲーションからコーディネーションへ:マルチエージェント・ディープリサーチの学習
- Abstract要約: マルチエージェントのディープリサーチシステムは、探索を並列化し、メインエージェントのコンテキストから長いツールトレースを保持するためにデリゲートを使用する。
本稿では,コントリビューション・アウェア・クレジット・アサインを伴う主エージェント・サブエージェント・トレーニング・フレームワークであるLEAD-RLを紹介する。
- 参考スコア(独自算出の注目度): 28.087530023888746
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-agent deep-research systems use delegation to parallelize search and keep long tool traces out of the main agent's context. Yet delegation helps only when task allocation and subtask execution are coordinated: the main agent must issue useful subtasks, while subagents must return reliable evidence. Existing training either optimizes only the main agent or broadcasts the same team advantage to all agents, which can reward misleading subagent reports and penalize useful ones. We introduce LEAD-RL (Learning Effective Agent Delegation with Reinforcement Learning), a joint main-agent-subagent training framework with contribution-aware credit assignment. A training-time rubric evaluates the research utility of each subagent report and gates its inherited team advantage, while final-answer correctness remains the only team reward; no token, step, or speedup reward is used. Across five benchmarks and two model families, LEAD-RL improves answer quality. On BrowseComp, it improves accuracy by 2.49 percentage points and reduces critical-path cost by 24.5% over joint training with shared team credit. During validation, accuracy increases by 6.78 points at approximately constant critical-path cost. These results show that contribution-aware credit assignment improves the quality-efficiency trade-off of multi-agent deep research.
- Abstract(参考訳): マルチエージェントのディープリサーチシステムは、探索を並列化し、メインエージェントのコンテキストから長いツールトレースを保持するためにデリゲートを使用する。
メインエージェントは有用なサブタスクを発行し、サブエージェントは信頼できる証拠を返す必要がある。
既存のトレーニングはメインエージェントのみを最適化するか、すべてのエージェントに対して同じチームを有利にブロードキャストする。
本稿では,貢献型クレジット・アサインを伴う主エージェント・サブエージェント・トレーニング・フレームワークであるLEAD-RLを紹介する。
トレーニングタイムのルーブリックは、各サブエージェントレポートの研究ユーティリティを評価し、その継承されたチームの利点をゲートする一方、最終回答の正しさだけがチーム報酬であり、トークン、ステップ、スピードアップ報酬は使用されない。
5つのベンチマークと2つのモデルファミリで、LEAD-RLは回答の品質を改善している。
BrowseCompでは2.49ポイントの精度向上と、チームクレジットの共有による共同トレーニングによるクリティカルパスコストの24.5%削減を実現している。
検証中、ほぼ一定の臨界パスコストで精度が6.78ポイント向上する。
これらの結果から,多エージェントディープリサーチの品質・効率トレードオフは,コントリビューション・アウェア・クレジット・アサインによって改善されることが示唆された。
関連論文リスト
- MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation [9.300607071152244]
MultiAgent-OPDは、オンライン蒸留と強化学習を組み合わせて、共有パラメーターであるLeader-Searcher-Answererチームをエンドツーエンドでトレーニングする。
まず,回答の正しさを利用して,検索者-回答者のワークフローで教師を訓練する。凍結した教師は,学生が生成した検索トークンと要約トークンをスコア付けして,検索者のローカルプロセスの監視を行う。一方で,リーダはチームの成功から学び,回答者の正しさから学ぶ。
7つのデータセットで、トレーニングされたシステムは38.68%のマクロavg@4に達し、Prompted Criticを4.06ポイント上回り、C-MAS + RLがトレーニングされた。
論文 参考訳(メタデータ) (2026-10-16T10:01:52Z) - Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents [25.774719001796182]
本研究では,中間管理が検索エージェントの強化学習を改善する方法について検討する。
我々は,中間信号と最終結果の報奨を組み合わせた学習フレームワークを開発し,多段階探索軌道からの学習を改善する。
論文 参考訳(メタデータ) (2026-10-07T14:48:47Z) - CONCAT: Consensus- and Confidence-Driven Ad Hoc Teaming for Efficient LLM-Based Multi-Agent Systems [28.51314301845782]
CONCATは、ConsensusとConfidence-driven Adhoc Teamingをベースにした、トレーニングフリーのマルチエージェントコラボレーションフレームワークである。
3つのLLMと3つのベンチマーク実験により、CONCATはLLM-Debateよりも最大2.02倍高い効率(精度/レイテンシ比)を達成することが示された。
論文 参考訳(メタデータ) (2026-05-28T08:47:54Z) - CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。
この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
論文 参考訳(メタデータ) (2026-04-19T17:48:17Z) - KARL: Knowledge Agents via Reinforcement Learning [63.627906947205624]
本稿では,強化学習による企業検索エージェントの訓練システムを提案する。
KARLBenchは、6つの異なる検索レギュレーションにまたがる多機能評価スイートである。
異種探索行動で訓練されたモデルは、どのベンチマークにも最適化されたモデルよりもかなりよく一般化されていることを示す。
論文 参考訳(メタデータ) (2026-03-05T14:30:25Z) - Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning [112.16686518063456]
textbfMulti-Agent Test-Time Reinforcement Learning (MATTRL)を導入する。
MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。
MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67%、同等のシングルエージェントベースラインで平均8.67%の精度を向上する。
論文 参考訳(メタデータ) (2026-01-14T17:57:43Z) - Multimodal Reinforcement Learning with Agentic Verifier for AI Agents [131.46008226323423]
Argosは、エージェントタスクの推論モデルをトレーニングするための、原則化されたマルチモーダル報酬エージェントである。
エージェント検証をSFTデータとRLトレーニングの両方で活用することにより、我々のモデルは最先端の結果を得ることができる。
論文 参考訳(メタデータ) (2025-12-03T04:42:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。