論文の概要: Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows

• arxiv url: http://arxiv.org/abs/2606.05670v1
• Date: Thu, 04 Jun 2026 03:50:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.537445
• Title: Do More Agents Help? Controlled and Protocol-Aligned Evaluation of LLM Agent Workflows
• Title（参考訳）: より多くのエージェントが役に立つか? LLMエージェントワークフローの制御とプロトコル指向評価
• Authors: Yuhang Fu, Ruishan Fang, Jiaqi Shao, Huiyu Zheng, Zhengtao Zhu, Bing Luo, Tao Lin,
• Abstract要約: BenchAgentは、単一エージェント、固定マルチエージェント(MAS)、および1つの正規化された実行およびロギングプロトコルの下でMASを進化させる。 BenchAgentは、GPT-4.1で10の推論、コーディング、ツール使用ベンチマークでこれらの基質内部を評価する。 PAE GAIAスナップショットでは、Claude-Codeスタイルのランタイムワークフローが全体の66.72%、Level 3では69.23%に達した。
• 参考スコア（独自算出の注目度）: 8.909548943361637
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Does adding more agents help an LLM workflow once compared systems share the same benchmark loader, tool access, answer contract, usage accounting, and trajectory logging? We introduce BenchAgent, an evaluation framework that places single-agent, fixed multi-agent (MAS), and evolving MAS workflows under one normalized execution and logging protocol. BenchAgent evaluates these substrate-internal workflows across ten reasoning, coding, and tool-use benchmarks with GPT-4.1, and separately reports a Protocol-Aligned External (PAE) GAIA study of a runtime-generated workflow. Under SI conditions, at most one of six tested MAS exceeds the matched single-agent anchor on benchmark-balanced average accuracy: EvoAgent lies within the Wilson one-run guidance, while the remaining five trail by 2.56-11.29 points and occupy more expensive accuracy-cost trade-offs. On the PAE GAIA snapshot, a Claude-Code-style runtime workflow reaches 66.72% overall and 69.23% on Level 3, more than 20 points above the strongest non-Claude baseline, Jarvis, a fixed MAS.
• Abstract（参考訳）: エージェントの追加は、LLMワークフローを比較すれば、同じベンチマークローダ、ツールアクセス、回答コントラクト、利用会計、トラジェクトリロギングを共有するのに役立ちますか? 単エージェント,固定マルチエージェント(MAS),およびMASワークフローを正規化された1つの実行およびロギングプロトコルの下で進化させる評価フレームワークであるBenchAgentを紹介する。 BenchAgent氏は10の推論、コーディング、ツール使用ベンチマークをGPT-4.1で評価し、ランタイム生成ワークフローに関するProtocol-Aligned external (PAE) GAIA研究を別々に報告している。 SI条件下では、6つの試験されたMASのうち、少なくとも1つは、ベンチマークバランスの取れた平均精度で一致したシングルエージェントアンカーを超えている: EvoAgentはウィルソン1ランのガイダンス内にあり、残りの5つのパスは2.56-11.29ポイントであり、より高価な精度とコストのトレードオフを占有している。 PAE GAIAスナップショットでは、Claude-Codeスタイルのランタイムワークフローが全体の66.72%、Level 3で69.23%に達した。

関連論文リスト

• EngiAI: A Multi-Agent Framework and Benchmark Suite for LLM-Driven Engineering Design [0.4499833362998488]
  3つの評価次元を持つベンチマークスイートを導入する。 本稿では,LangGraph上に構築されたマルチエージェントシステム(MAS)の実装であるEngiAIを紹介する。
  論文  参考訳（メタデータ） (2026-05-19T12:12:09Z)
• MetaCogAgent: A Metacognitive Multi-Agent LLM Framework with Self-Aware Task Delegation [11.486913474115402]
  本稿では,メタ認知自己評価ユニットを備えた多エージェント大規模言語モデル(LLM)フレームワークであるMetaCogAgentを提案する。 MetaCogAgentは、AutoGenよりも5%少ないAPIコールを使用し、アンサンブル投票よりも34%少ないタスク精度を82.4%達成している。
  論文  参考訳（メタデータ） (2026-05-17T07:12:04Z)
• Claw-Eval-Live: A Live Agent Benchmark for Evolving Real-World Workflows [67.92316850084575]
  ワークフローエージェントのライブベンチマークであるClaw-Eval-Liveを紹介する。 各リリースは、公開ワークフロー要求信号から構築される。 Claw-Eval-Liveは実行トレース、監査ログ、サービス状態、実行後のワークスペースアーティファクトを記録する。
  論文  参考訳（メタデータ） (2026-04-30T17:23:19Z)
• Graph-of-Agents: A Graph-based Framework for Multi-Agent LLM Collaboration [57.23877089929136]
  Graph-of-Agents (GoA)はマルチエージェントLLM通信をモデリングするための新しいグラフベースのフレームワークである。 GoAは3つの選択されたエージェントしか使用せず、最近のマルチエージェントLCMベースラインよりも優れたパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-04-18T21:13:03Z)
• RewardHackingAgents: Benchmarking Evaluation Integrity for LLM ML-Engineering Agents [0.9821874476902969]
  LLMエージェントは、単一のスカラーテストメトリクスで成功を判断するエンドツーエンドのMLエンジニアリングタスクをますます実行します。 エージェントは、モデルを改善するのではなく、評価パイプラインを妥協することで、報告されたスコアを増やすことができる。 ワークスペースベースのベンチマークであるRewardHackingAgentsを導入する。
  論文  参考訳（メタデータ） (2026-03-11T22:06:44Z)
• Beyond Rule-Based Workflows: An Information-Flow-Orchestrated Multi-Agents Paradigm via Agent-to-Agent Communication from CORAL [0.15199492741752027]
  本稿ではエージェント・ツー・エージェント(A2A)通信を用いた情報フロー型マルチエージェントパラダイムを提案する。 汎用ベンチマークGAIAに対する我々のアプローチを,代表的ワークフローベースMASをベースラインとして評価した。 本手法は63.64%の精度を達成し, OWL の55.15% を8.49 % に上回り, トークン消費に匹敵する性能を示した。
  論文  参考訳（メタデータ） (2026-01-14T21:35:51Z)
• Runaway is Ashamed, But Helpful: On the Early-Exit Behavior of Large Language Model-based Agents in Embodied Environments [54.67512489842682]
  大規模言語モデル(LLM)は、複雑な実施環境において、強力な計画と意思決定能力を示す。 LLMをベースとしたエージェントの早期退避行動を探究する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2025-05-23T08:23:36Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。