論文の概要: MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2610.23234v2
• Date: Tue, 20 Oct 2026 08:51:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.223855
• Title: MultiAgent-OPD: End-to-End Training of Hierarchical Multi-Agent Systems with On-Policy Distillation
• Title（参考訳）: マルチエージェントOPD: オンライン蒸留による階層型マルチエージェントシステムのエンド・ツー・エンドトレーニング
• Abstract要約: MultiAgent-OPDは、オンライン蒸留と強化学習を組み合わせて、共有パラメーターであるLeader-Searcher-Answererチームをエンドツーエンドでトレーニングする。 まず,回答の正しさを利用して,検索者-回答者のワークフローで教師を訓練する。凍結した教師は,学生が生成した検索トークンと要約トークンをスコア付けして,検索者のローカルプロセスの監視を行う。一方で,リーダはチームの成功から学び,回答者の正しさから学ぶ。 7つのデータセットで、トレーニングされたシステムは38.68%のマクロavg@4に達し、Prompted Criticを4.06ポイント上回り、C-MAS + RLがトレーニングされた。
• 参考スコア（独自算出の注目度）: 9.300607071152244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a hierarchical multi-agent system, a Leader assigns tasks and subagents carry them out. Jointly training the Leader and the subagents is difficult because a final answer gives only indirect feedback to the subagents. An LLM judge can score the performance of the subagents, but these scores depend on the judge's own assessment of the quality of subagents' responses. We present MultiAgent-OPD, which combines on-policy distillation with reinforcement learning to jointly train a shared-parameter Leader-Searcher-Answerer team end to end. We first train a Teacher in a Searcher-Answerer workflow using answer correctness. During team training, the frozen Teacher scores student-generated search and summary tokens to provide local process supervision for the Searchers, while the Leader learns from team success and the Answerer from candidate correctness. Across seven datasets, the trained system reaches 38.68% macro avg@4, exceeding Prompted Critic by 4.06 percentage points and C-MAS + RL, the trained cascaded multiagent system, by 2.61 percentage points. The team also solves more questions within four attempts.
• Abstract（参考訳）: 階層的なマルチエージェントシステムでは、リーダがタスクを割り当て、サブエージェントが実行する。 リーダとサブエージェントを共同でトレーニングすることは難しい。 LLM審査員は、サブエージェントのパフォーマンスを評価できるが、これらのスコアは、サブエージェントの応答の質に関する裁判官自身の評価に依存する。 本稿では, オンライン蒸留と強化学習を組み合わせたMultiAgent-OPDを提案する。 まず、回答の正しさを用いて、検索者-回答者ワークフローで教師を訓練する。 チームトレーニング中、凍結した教師は、学生が生成した検索トークンと要約トークンをスコアし、検索者のためにローカルプロセスの監督を提供する。 7つのデータセットで、トレーニングされたシステムは38.68%のマクロavg@4に達し、Prompted Criticを4.06ポイント、訓練されたカスケードマルチエージェントシステムであるC-MAS + RLを2.61ポイント上回っている。 チームはまた、4回の試行でさらに多くの質問を解決します。

関連論文リスト

• CoSearch: Joint Training of Reasoning and Document Ranking via Reinforcement Learning for Agentic Search [51.911048955965136]
  CoSearchは多段階推論エージェントと生成ドキュメントランキングモデルを共同でトレーニングするフレームワークである。 この結果から, 推論エージェントと検索システムの協調訓練は, 実現可能であり, 性能も高いことが示唆された。
  論文  参考訳（メタデータ） (2026-04-19T17:48:17Z)
• Collaborative Multi-Agent Test-Time Reinforcement Learning for Reasoning [112.16686518063456]
  textbfMulti-Agent Test-Time Reinforcement Learning (MATTRL)を導入する。 MATTRLは、マルチターンの議論、テストタイムの経験の検索と統合、最終的な意思決定のコンセンサスに到達するための、複数の専門家のチームを形成する。 MATTRLは、医学、数学、教育の挑戦的なベンチマーク全体にわたって、マルチエージェントベースラインで平均3.67%、同等のシングルエージェントベースラインで平均8.67%の精度を向上する。
  論文  参考訳（メタデータ） (2026-01-14T17:57:43Z)
• How to Train a Leader: Hierarchical Reasoning in Multi-Agent LLMs [16.853362180877593]
  我々は、訓練されていないピアエージェントのチームを調整するために、単一のリーダーLDMのみを訓練する階層的なマルチエージェントフレームワークを導入する。 本結果は,複数エージェントLLMシステムにおける協調推論のための単一柔軟なリーダのトレーニングの有効性と効率性を強調した。
  論文  参考訳（メタデータ） (2025-07-11T18:34:07Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。