論文の概要: EvalBuilder: Can LLMs Build Efficient Benchmarks?

• arxiv url: http://arxiv.org/abs/2610.20099v1
• Date: Wed, 14 Oct 2026 12:35:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.139395
• Title: EvalBuilder: Can LLMs Build Efficient Benchmarks?
• Title（参考訳）: EvalBuilder: LLMは効率的なベンチマークを構築することができるか?
• Abstract要約: 大規模言語モデル(LLM)エージェントは、長期研究や工学にますます利用されている。 メタ評価問題として自動ベンチマーク開発を定式化する。 EvalBuilderは,3つの重要な側面 – 忠実性,効率性,堅牢性 – に沿って,このようなベンチマーク生成機能を評価するためのフレームワークです。
• 参考スコア（独自算出の注目度）: 42.40725560012497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents are increasingly used for long-horizon research and engineering, yet evaluating these capabilities remains expensive, time-consuming, and heavily dependent on human expertise. This motivates a natural question: can LLM agents themselves construct efficient benchmarks that preserve the conclusions of costly reference evaluations? We study this capability by formulating automatic benchmark development as a meta-evaluation problem, where an agent is given a task and an expensive reference benchmark and requested to construct a lower-cost proxy benchmark that faithfully distinguishes among candidate models and solutions. Based on this formulation, we introduce EvalBuilder, a framework for evaluating such benchmark-generation capabilities along three key dimensions: fidelity, efficiency, and robustness. Specifically, we assess whether generated benchmarks preserve model rankings, generalize to held-out models and freshly collected responses, and provide well-calibrated and discriminative scores while substantially reducing evaluation cost. We further provide an iterative environment in which agents can refine their benchmarks under a fixed time budget. Our framework provides a systematic testbed and benchmark for understanding when current LLM agents can develop useful evaluators and how benchmark construction itself can be increasingly automated.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、長期の研究や工学にますます使われてきているが、これらの能力の評価は高価であり、時間がかかり、人間の専門知識に大きく依存している。 LLMエージェントは、コストのかかる基準評価の結論を保存する効率的なベンチマークを構築することができるか? 自動ベンチマーク開発をメタ評価問題として定式化し、エージェントにタスクと高価な参照ベンチマークを付与し、候補モデルとソリューションを忠実に区別する低価格のプロキシベンチマークを構築するよう要求する。 この定式化に基づいて,これらのベンチマーク生成機能を評価するフレームワークであるEvalBuilderを紹介した。 具体的には、生成したベンチマークがモデルランキングを保ち、保持モデルに一般化し、新たに収集した応答を評価し、評価コストを大幅に削減しつつ、よく校正され差別的なスコアを提供する。 エージェントが一定の時間予算でベンチマークを洗練できる反復環境も提供します。 我々のフレームワークは、現在のLLMエージェントが有用な評価器を開発し、ベンチマーク構築自体がますます自動化されるかを理解するための体系的なテストベッドとベンチマークを提供する。

関連論文リスト

• Are We Testing Too Much? A Survey of Benchmark Compression for Efficient Evaluation of Large Language Models [64.08197975922234]
  多くの広く使用されているベンチマークは冗長であり、評価を必要以上に高価にする。ベンチマーク圧縮は、部分的な評価から完全なベンチマークスコアとランキングを推定することによって、このコストを下げる。 本稿では119の論文をレビューし,評価方法の選択方法,全ベンチマーク結果の回収方法,信頼性の検証方法について述べる。 我々は,ベンチマークスイート内,ベンチマークスイート内,適応評価中の圧縮をカバーした分類法を開発し,冗長性と信頼性について検討する。
  論文  参考訳（メタデータ） (2026-10-13T12:15:07Z)
• PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
  PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。 14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
  論文  参考訳（メタデータ） (2026-07-02T10:59:03Z)
• Benchmark Everything Everywhere All at Once [28.30618112297148]
  ベンチマーク構築用に設計された完全自律型エージェントシステムであるBenchmark Agentを紹介する。 本フレームワークは,ユーザクエリ分析やサブタスク設計からデータアノテーション,品質管理に至るまで,完全なベンチマーク構築パイプラインを編成する。 テキスト理解やマルチモーダル理解,ドメイン固有の推論など,さまざまな評価シナリオにまたがる15の代表的なベンチマークを作成した。
  論文  参考訳（メタデータ） (2026-06-04T17:52:04Z)
• Continuous Benchmark Generation for Evaluating Enterprise-scale LLM Agents [23.277131100190086]
  本稿では,要求の変化に応じてベンチマークを進化させ,進化するAIエージェントの堅牢な評価を行うベンチマーク生成プロセスを提案する。 このアプローチは、開発者が高レベルのインテントを表現し、最先端のLCMを使用して、ごく少数の文書からベンチマークを生成する半構造化ドキュメントに依存している。
  論文  参考訳（メタデータ） (2025-11-13T07:48:22Z)
• A Comparative Benchmark of Large Language Models for Labelling Wind Turbine Maintenance Logs [0.0]
  本稿では,複雑な産業記録を分類する作業において,LLM(Large Language Models)をベンチマークするためのフレームワークを提案する。 透明性を促進し、さらなる研究を促進するため、このフレームワークはオープンソースツールとして公開されている。 明確なパフォーマンス階層を定量化し、ベンチマーク標準と高い整合性を示すトップモデルを特定します。
  論文  参考訳（メタデータ） (2025-09-08T15:48:17Z)
• BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
  BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。 次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
  論文  参考訳（メタデータ） (2024-10-29T22:56:18Z)
• Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
  Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。 人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。 要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-16T06:06:06Z)
• Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
  大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。 モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。 評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
  論文  参考訳（メタデータ） (2023-11-03T14:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。