論文の概要: MASEval: Extending Multi-Agent Evaluation from Models to Systems

• arxiv url: http://arxiv.org/abs/2603.08835v1
• Date: Mon, 09 Mar 2026 18:46:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-11 15:25:23.7619
• Title: MASEval: Extending Multi-Agent Evaluation from Models to Systems
• Title（参考訳）: MASEval: モデルからシステムへのマルチエージェント評価の拡張
• Authors: Cornelius Emde, Alexander Rubinstein, Anmol Goel, Ahmed Heakl, Sangdoo Yun, Seong Joon Oh, Martin Gubri,
• Abstract要約: MASEvalはフレームワークに依存しないライブラリで、システム全体を分析の単位として扱う。 研究者はエージェントシステムのすべてのコンポーネントを探索し、原則化されたシステム設計のための新たな道を開くことができる。
• 参考スコア（独自算出の注目度）: 77.09381093359598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid adoption of LLM-based agentic systems has produced a rich ecosystem of frameworks (smolagents, LangGraph, AutoGen, CAMEL, LlamaIndex, i.a.). Yet existing benchmarks are model-centric: they fix the agentic setup and do not compare other system components. We argue that implementation decisions substantially impact performance, including choices such as topology, orchestration logic, and error handling. MASEval addresses this evaluation gap with a framework-agnostic library that treats the entire system as the unit of analysis. Through a systematic system-level comparison across 3 benchmarks, 3 models, and 3 frameworks, we find that framework choice matters as much as model choice. MASEval allows researchers to explore all components of agentic systems, opening new avenues for principled system design, and practitioners to identify the best implementation for their use case. MASEval is available under the MIT licence https://github.com/parameterlab/MASEval.
• Abstract（参考訳）: LLMベースのエージェントシステムが急速に採用され、フレームワークのエコシステム(smolagents, LangGraph, AutoGen, CAMEL, LlamaIndex, i.a.)が生まれている。 しかし、既存のベンチマークはモデル中心であり、エージェント設定を修正し、他のシステムコンポーネントと比較しない。 我々は、トポロジ、オーケストレーションロジック、エラー処理などの選択肢を含む実装決定がパフォーマンスに大きな影響を及ぼすと主張している。 MASEvalはこの評価ギャップをフレームワークに依存しないライブラリで解決し、システム全体を分析の単位として扱う。 3つのベンチマーク、3つのモデル、3つのフレームワークの体系的なシステムレベルの比較によって、フレームワークの選択はモデルの選択と同じくらい重要であることが分かりました。 MASEvalは、研究者がエージェントシステムのすべてのコンポーネントを探索し、原則化されたシステム設計のための新しい道を開き、実践者がユースケースに最適な実装を特定することを可能にする。 MASEvalはMITライセンスのhttps://github.com/parameterlab/MASEvalで利用できる。

関連論文リスト

• Refer-Agent: A Collaborative Multi-Agent System with Reasoning and Reflection for Referring Video Object Segmentation [50.22481337087162]
  Referring Video Object (RVOS) は、テキストクエリに基づくビデオ内のオブジェクトのセグメンテーションを目的としている。 Refer-Agent (Refer-Agent) は、共用多エージェントシステムである。
  論文  参考訳（メタデータ） (2026-02-03T14:48:12Z)
• MCP-Orchestrated Multi-Agent System for Automated Disinformation Detection [84.75972919995398]
  本稿では,関係抽出を用いてニュース記事の偽情報を検出するマルチエージェントシステムを提案する。 提案したエージェントAIシステムは、(i)機械学習エージェント(ロジスティック回帰)、(ii)Wikipedia知識チェックエージェント、(iv)Webスクラッドデータアナライザの4つのエージェントを組み合わせる。 その結果、マルチエージェントアンサンブルはF1スコア0.964で95.3%の精度を達成し、個々のエージェントや従来のアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-08-13T19:14:48Z)
• Topological Structure Learning Should Be A Research Priority for LLM-Based Multi-Agent Systems [69.95482609893236]
  大規模言語モデルに基づくマルチエージェントシステム(MAS)は、協調的な知性によって複雑なタスクに取り組むための強力なパラダイムとして登場した。 我々は,エージェント間相互作用の構造を明示的にモデル化し,動的に最適化する,エフェトロジーを意識したMASへのパラダイムシフトを求める。
  論文  参考訳（メタデータ） (2025-05-28T15:20:09Z)
• MooseAgent: A LLM Based Multi-agent Framework for Automating Moose Simulation [1.951051209076837]
  本稿では,マルチ物理シミュレーションフレームワークMOOSEのための自動解法フレームワークMooseAgentを提案する。 MooseAgentは、大規模事前訓練言語モデル(LLM)とマルチエージェントシステムを組み合わせる。 その結果,MooseAgentはMOOSEシミュレーションプロセスをある程度自動化できることがわかった。
  論文  参考訳（メタデータ） (2025-04-11T15:25:50Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• The BrowserGym Ecosystem for Web Agent Research [151.90034093362343]
  BrowserGymエコシステムは、Webエージェントの効率的な評価とベンチマークの必要性の高まりに対処する。 本稿では,Webエージェント研究のためのBrowserGymベースの拡張エコシステムを提案する。 大規模なマルチベンチマークWebエージェント実験を初めて実施し、6つのWebエージェントベンチマークで6つの最先端LCMの性能を比較した。
  論文  参考訳（メタデータ） (2024-12-06T23:43:59Z)
• From Models to Systems: A Comprehensive Fairness Framework for Compositional Recommender Systems [6.295527354699332]
  現実のレコメンデーションシステムは、複数のモデルや複数のステージ上に構築されている。 本稿では,システムレベルの公平性をモデル化するための総合的な枠組みを提案する。 提案手法が合成データセットおよび実データセットに与える影響を実証的に実証した。
  論文  参考訳（メタデータ） (2024-12-05T22:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。