Fugu-MT 論文翻訳(概要): Evaluation and Benchmarking of LLM Agents: A Survey

論文の概要: Evaluation and Benchmarking of LLM Agents: A Survey

arxiv url: http://arxiv.org/abs/2507.21504v1
Date: Tue, 29 Jul 2025 04:57:02 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-30 17:08:55.666771
Title: Evaluation and Benchmarking of LLM Agents: A Survey
Title（参考訳）: LLMエージェントの評価とベンチマーク
Authors: Mahmoud Mohammadi, Yipeng Li, Jane Lo, Wendy Yip,
Abstract要約: 本調査では,既存の作業を評価目的に沿って整理する2次元分類法を紹介する。データへのロールベースのアクセスなど、企業固有の課題を強調します。また、総合的で、より現実的で、スケーラブルな評価を含む、将来の研究の方向性を特定します。
参考スコア（独自算出の注目度）: 2.75311233296471
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rise of LLM-based agents has opened new frontiers in AI applications, yet evaluating these agents remains a complex and underdeveloped area. This survey provides an in-depth overview of the emerging field of LLM agent evaluation, introducing a two-dimensional taxonomy that organizes existing work along (1) evaluation objectives -- what to evaluate, such as agent behavior, capabilities, reliability, and safety -- and (2) evaluation process -- how to evaluate, including interaction modes, datasets and benchmarks, metric computation methods, and tooling. In addition to taxonomy, we highlight enterprise-specific challenges, such as role-based access to data, the need for reliability guarantees, dynamic and long-horizon interactions, and compliance, which are often overlooked in current research. We also identify future research directions, including holistic, more realistic, and scalable evaluation. This work aims to bring clarity to the fragmented landscape of agent evaluation and provide a framework for systematic assessment, enabling researchers and practitioners to evaluate LLM agents for real-world deployment.
Abstract（参考訳）: LLMベースのエージェントの台頭は、AIアプリケーションに新たなフロンティアを開拓したが、これらのエージェントの評価はまだ複雑で未発達の領域のままである。本調査では, LLMエージェント評価の新たな分野について,(1)評価目標(エージェントの挙動,能力,信頼性,安全性など)と(2)評価プロセス(インタラクションモード,データセットとベンチマーク,メトリック計算方法,ツーリングなど)に沿って,既存の作業の組織化を行う2次元分類を導入して,詳細な概要を述べる。分類以外にも,データへのロールベースのアクセス,信頼性保証の必要性,動的・長期的相互作用,コンプライアンスなど,企業固有の課題が注目されている。また、総合的で、より現実的で、スケーラブルな評価を含む、将来の研究の方向性を特定します。本研究は, エージェント評価の断片化された景観に明瞭さをもたらすことを目的としており, 研究者や実践者が実世界の展開のためにLLMエージェントを評価することができるような, システム評価の枠組みを提供する。

関連論文リスト

When AIs Judge AIs: The Rise of Agent-as-a-Judge Evaluation for LLMs [8.575522204707958]
大規模言語モデル(LLM)は能力と自律性が向上し、特にオープンで複雑なタスクにおいて、アウトプットの評価が重要なボトルネックとなっている。新たなパラダイムが生まれつつある。AIエージェントを評価対象として使用することだ。本稿では,エージェント・アズ・ア・ジャッジの概念を定義し,単一モデル審査員から動的マルチエージェント・ディスカッション・フレームワークへの進化を辿り,その強みと欠点を批判的に検証する。
論文参考訳（メタデータ） (2025-08-05T01:42:25Z)
The Scales of Justitia: A Comprehensive Survey on Safety Evaluation of LLMs [42.57873562187369]
大規模言語モデル(LLM)は自然言語処理(NLP)分野において顕著な可能性を示した。 LLMは、特に敵のシナリオにおいて、毒性や偏見のような安全でない要素を時々示してきた。本調査は,LLMの安全性評価の最近の進歩を包括的かつ体系的に概観することを目的としている。
論文参考訳（メタデータ） (2025-06-06T05:50:50Z)
FieldWorkArena: Agentic AI Benchmark for Real Field Work Tasks [52.47895046206854]
FieldWorkArenaは、現実世界のフィールドワークをターゲットにしたエージェントAIのベンチマークである。本稿では、エージェントAIが現実世界の作業環境ベンチマークのために持つべき新しいアクション空間を定義する。
論文参考訳（メタデータ） (2025-05-26T08:21:46Z)
InfoDeepSeek: Benchmarking Agentic Information Seeking for Retrieval-Augmented Generation [63.55258191625131]
InfoDeepSeekは、現実世界の動的Web環境でエージェント情報を求めるための新しいベンチマークである。本稿では,決定性,難易度,多様性の基準を満たす課題クエリを構築するための体系的手法を提案する。本研究では,情報探索結果の正確性,有用性,コンパクト性に関する詳細な指標を含む,動的エージェント情報探索に適した最初の評価フレームワークを開発する。
論文参考訳（メタデータ） (2025-05-21T14:44:40Z)
Toward Generalizable Evaluation in the LLM Era: A Survey Beyond Benchmarks [229.73714829399802]
この調査は、大規模言語モデルの台頭が評価に役立っている中核的な課題を調査する。 i) タスク固有のものから能力に基づく評価へと、知識、推論、指示に従うこと、マルチモーダル理解、安全性といったコア能力に関するベンチマークを再編成する。この問題と、上記の2つのトランジションの中核的な課題を、メソッド、データセット、評価器、メトリクスの観点から検討する。
論文参考訳（メタデータ） (2025-04-26T07:48:52Z)
Survey on Evaluation of LLM-based Agents [28.91672694491855]
LLMベースのエージェントの出現は、AIのパラダイムシフトを表している。本稿では,これらのエージェントに対する評価手法に関する総合的な調査を初めて実施する。
論文参考訳（メタデータ） (2025-03-20T17:59:23Z)
MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
論文参考訳（メタデータ） (2024-11-22T18:59:54Z)
Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
論文参考訳（メタデータ） (2024-10-30T17:35:44Z)
TestAgent: A Framework for Domain-Adaptive Evaluation of LLMs via Dynamic Benchmark Construction and Exploratory Interaction [29.72874725703848]
大規模言語モデル(LLM)は、様々な垂直領域に徐々に展開されている。現在の評価方法は、実世界の要求に合致しない静的でリソース集約的なデータセットに依存している。 textbfBenchmark+は従来の質問応答ベンチマークを、より柔軟な戦略基準のフォーマットに拡張します。我々は,これらの概念を実装したエージェントベースの評価フレームワークであるtextbftextscTestAgentを提案する。
論文参考訳（メタデータ） (2024-10-15T11:20:42Z)
Generative Information Retrieval Evaluation [32.38444700888198]
本稿では,2つの異なる相互関連視点から生成情報検索の評価を検討する。まず、大規模言語モデル(LLM)自体が急速に評価ツールになりつつある。第2に,新興LLMに基づく生成情報検索(GenIR)システムの評価について検討する。
論文参考訳（メタデータ） (2024-04-11T21:48:54Z)
AgentBoard: An Analytical Evaluation Board of Multi-turn LLM Agents [74.16170899755281]
本稿では,LLMエージェントの分析的評価に適したオープンソース評価フレームワークであるAgentBoardを紹介する。 AgentBoardは、インクリメンタルな進歩と包括的な評価ツールキットをキャプチャする、きめ細かい進捗率のメトリクスを提供する。これはLLMエージェントの能力と限界に光を当てるだけでなく、その性能の解釈可能性も最前線に広める。
論文参考訳（メタデータ） (2024-01-24T01:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。