Fugu-MT 論文翻訳(概要): How to Train a Leader: Hierarchical Reasoning in Multi-Agent LLMs

論文の概要: How to Train a Leader: Hierarchical Reasoning in Multi-Agent LLMs

arxiv url: http://arxiv.org/abs/2507.08960v1
Date: Fri, 11 Jul 2025 18:34:07 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-15 18:48:21.966458
Title: How to Train a Leader: Hierarchical Reasoning in Multi-Agent LLMs
Title（参考訳）: リーダのトレーニング方法:マルチエージェントLLMにおける階層的推論
Authors: Andrew Estornell, Jean-Francois Ton, Muhammad Faaiz Taufiq, Hang Li,
Abstract要約: 我々は、訓練されていないピアエージェントのチームを調整するために、単一のリーダーLDMのみを訓練する階層的なマルチエージェントフレームワークを導入する。本結果は,複数エージェントLLMシステムにおける協調推論のための単一柔軟なリーダのトレーニングの有効性と効率性を強調した。
参考スコア（独自算出の注目度）: 16.853362180877593
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large Language Models (LLMs) have achieved strong performance on a wide range of complex reasoning tasks, yet further gains are often possible by leveraging the complementary strengths of multiple models. While multi-agent frameworks can improve solution quality by leveraging multiple LLMs, existing methods are often computationally expensive, both at training and inference time. In this work, we introduce a hierarchical multi-agent framework that addresses these challenges by training only a single leader LLM to coordinate a team of untrained peer agents. To this end, we propose Multi-agent guided Leader Policy \textbf{O}ptimization (MLPO), a novel approach which trains the leader to evaluate and synthesize agent responses without auxiliary value networks or explicit agent feedback. Leaders trained with MLPO exhibit improved performance not only when interacting with the agent team at inference time, but also enjoy improved performance when deployed in single-agent settings without the team. Empirical results on Big-Bench Hard (BBH), MATH, and MMLU demonstrate that our framework achieves substantial performance improvements over both single-agent and multi-agent baselines. Our results highlight the effectiveness and efficiency of training a single, flexible leader for collaborative reasoning in multi-agent LLM systems.
Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い複雑な推論タスクにおいて強力なパフォーマンスを達成しているが、複数のモデルの相補的な強みを活用することで、さらに多くの利益が得られている。マルチエージェントフレームワークは、複数のLCMを利用することで、ソリューションの品質を向上させることができるが、既存の手法は、トレーニングと推論の両方で、しばしば計算コストがかかる。本研究では,この課題に対処する階層型マルチエージェントフレームワークを導入し,単一のリーダLDMのみをトレーニングして,トレーニングされていないピアエージェントのチームを調整する。この目的のために,エージェント応答を補助的価値ネットワークや明示的なエージェントフィードバックなしで評価・合成するようリーダに指示する,MLPO(Multi-agent Guided Leader Policy \textbf{O}ptimization)を提案する。 MLPOでトレーニングされたリーダは、推論時にエージェントチームと対話するだけでなく、チームなしで単一エージェント環境にデプロイする際のパフォーマンスも向上している。 Big-Bench Hard(BBH)、MATH、MMLUの実証的な結果から、我々のフレームワークはシングルエージェントベースラインとマルチエージェントベースラインの両方で大幅なパフォーマンス向上を実現していることがわかる。本結果は,複数エージェントLLMシステムにおける協調推論のための単一柔軟なリーダのトレーニングの有効性と効率性を強調した。

関連論文リスト

LLM Collaboration With Multi-Agent Reinforcement Learning [13.900227188164209]
我々は,MARL(Multi-Agent Reinforcement Learning)問題を解決するために,マルチエージェント・マルチターンアルゴリズム,Multi-Agent Group Relative Policy Optimization (MAGRPO)を開発した。筆者らは,MAGRPOを用いた微調整MASにおいて,効率的な協調による高品質な応答を効率的に生成できることを実証した。
論文参考訳（メタデータ） (2025-08-06T17:18:25Z)
An Adversary-Resistant Multi-Agent LLM System via Credibility Scoring [8.779871128906787]
信頼性スコアリングに基づく汎用・対向抵抗型マルチエージェントLCMフレームワークを提案する。私たちのシステムは、チームのアウトプットを集約するときに使用される信頼性スコアを関連付けています。
論文参考訳（メタデータ） (2025-05-30T05:57:37Z)
Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
論文参考訳（メタデータ） (2025-05-29T07:24:37Z)
Multiple Weaks Win Single Strong: Large Language Models Ensemble Weak Reinforcement Learning Agents into a Supreme One [28.264011412168347]
モデルアンサンブルは強化学習(RL)において有効なエージェントの訓練に有用である。 LLM-Ensは,タスク固有の意味理解を用いてRLモデルのアンサンブルを強化する手法である。
論文参考訳（メタデータ） (2025-05-21T09:35:43Z)
ReMA: Learning to Meta-think for LLMs with Multi-Agent Reinforcement Learning [53.817538122688944]
Reinforced Meta-thinking Agents (ReMA) を導入し,Large Language Models (LLMs) の推論からメタ思考行動を求める。 ReMAは、推論プロセスを2つの階層的なエージェントに分解する。戦略上の監視と計画を生成するハイレベルなメタ思考エージェントと、詳細な実行のための低レベルな推論エージェントである。単ターン実験による実験結果から、ReMAは複雑な推論タスクにおいて単エージェントRLベースラインよりも優れることが示された。
論文参考訳（メタデータ） (2025-03-12T16:05:31Z)
MAPoRL: Multi-Agent Post-Co-Training for Collaborative Large Language Models with Reinforcement Learning [26.736078756799635]
新しいポストトレーニングパラダイムMAPoRL(強化学習を用いた協調LLMのためのマルチエージェントポストトレーニング)を導入する。 MAPoRLでは、複数のLLMが独立して独自の応答を生成し、最終回答を協調的に改善するためのマルチターンディスカッションを行う。 MAPoRL検証器は、回答の正しさを検証するスコアを割り当てることで、回答と議論の両方を評価する。スコアはコトレーニング報酬として機能し、マルチエージェントRLによって最大化される。
論文参考訳（メタデータ） (2025-02-25T18:33:48Z)
MALT: Improving Reasoning with Multi-Agent LLM Training [66.9481561915524]
MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
論文参考訳（メタデータ） (2024-12-02T19:30:36Z)
From Novice to Expert: LLM Agent Policy Optimization via Step-wise Reinforcement Learning [62.54484062185869]
本稿では,エージェントの強化学習プロセスの最適化にステップワイド報酬を利用するStepAgentを紹介する。エージェント反射とポリシー調整を容易にする暗黙の逆・逆の強化学習手法を提案する。
論文参考訳（メタデータ） (2024-11-06T10:35:11Z)
EvoAgent: Towards Automatic Multi-Agent Generation via Evolutionary Algorithms [55.77492625524141]
EvoAgentは、特殊エージェントをマルチエージェントシステムに自動的に拡張するジェネリックメソッドである。 EvoAgent は LLM エージェントのタスク解決能力を大幅に向上させることができることを示す。
論文参考訳（メタデータ） (2024-06-20T11:49:23Z)
Adaptive In-conversation Team Building for Language Model Agents [33.03550687362213]
複数の大規模言語モデル(LLM)エージェントを活用することは、複雑なタスクに取り組む上で有望なアプローチであることが示されている。私たちの新しい適応型チーム構築パラダイムは、Captain Agentという新しいエージェント設計を通じて実現された柔軟なソリューションを提供します。 6つの実世界のシナリオに対する包括的な評価は、Captain Agentが既存のマルチエージェントメソッドを大幅に上回っていることを示している。
論文参考訳（メタデータ） (2024-05-29T18:08:37Z)
Scalable Multi-Agent Inverse Reinforcement Learning via Actor-Attention-Critic [54.2180984002807]
マルチエージェント逆逆強化学習 (MA-AIRL) は, 単エージェントAIRLをマルチエージェント問題に適用する最近の手法である。本稿では,従来の手法よりもサンプル効率が高く,スケーラブルなマルチエージェント逆RLアルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-24T20:30:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。