論文の概要: Automating Benchmark Design

• arxiv url: http://arxiv.org/abs/2510.25039v1
• Date: Tue, 28 Oct 2025 23:53:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:44.881183
• Title: Automating Benchmark Design
• Title（参考訳）: ベンチマーク設計の自動化
• Authors: Amanda Dsouza, Harit Vishwakarma, Zhengyang Qi, Justin Bauer, Derek Pham, Thomas Walshe, Armin Parchami, Frederic Sala, Paroma Varma,
• Abstract要約: 動的ベンチマーク設計のプロセスを自動化するフレームワークであるBeTaLを開発した。 2つの新しいベンチマークを作成し、人気のあるエージェントベンチマークを拡張します。 BeTaLは、平均偏差が5.3%から13.2%と、望まれる困難にかなり近いベンチマークを生成する。
• 参考スコア（独自算出の注目度）: 17.34266257717423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid progress and widespread deployment of LLMs and LLM-powered agents has outpaced our ability to evaluate them. Hand-crafted, static benchmarks are the primary tool for assessing model capabilities, but these quickly become saturated. In contrast, dynamic benchmarks evolve alongside the models they evaluate, but are expensive to create and continuously update. To address these challenges, we develop BeTaL (Benchmark Tuning with an LLM-in-the-loop), a framework that leverages environment design principles to automate the process of dynamic benchmark design. BeTaL works by parameterizing key design choices in base benchmark templates and uses LLMs to reason through the resulting parameter space to obtain target properties (such as difficulty and realism) in a cost-efficient manner. We validate this approach on its ability to create benchmarks with desired difficulty levels. Using BeTaL, we create two new benchmarks and extend a popular agentic benchmark $\tau$-bench. Extensive evaluation on these three tasks and multiple target difficulty levels shows that BeTaL produces benchmarks much closer to the desired difficulty, with average deviations ranging from 5.3% to 13.2% -- a 2-4x improvement over the baselines.
• Abstract（参考訳）: LLMとLLMを駆使したエージェントの急速な進歩と広範囲な展開により,評価能力は向上した。 手作りの静的ベンチマークは、モデル機能を評価する主要なツールであるが、これらはすぐに飽和する。 対照的に、動的ベンチマークは評価したモデルとともに進化するが、作成と継続的な更新には高価である。 これらの課題に対処するため,動的ベンチマーク設計プロセスの自動化に環境設計の原則を活用するBeTaL (Benchmark Tuning with a LLM-in-the-loop) を開発した。 BeTaLは、ベースベンチマークテンプレートにおける重要な設計選択をパラメータ化して機能し、LLMを使ってパラメータ空間を推論して、コスト効率のよい目標特性(難易度やリアリズムなど)を得る。 我々は,この手法を,所望の難易度を持つベンチマークを作成する能力で検証する。 BeTaLを使って、2つの新しいベンチマークを作成し、人気のあるエージェントベンチマーク$\tau$-benchを拡張する。 これら3つのタスクと複数の目標の難易度に関する広範囲な評価は、BeTaLが所望の難易度よりもはるかに近いベンチマークを生成し、平均偏差は5.3%から13.2%であり、ベースラインよりも2-4倍改善されていることを示している。

関連論文リスト

• MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers [86.00932417210477]
  MCP-Universeは,実世界のMPPサーバとのインタラクションを通じて,現実的かつ困難なタスクにおいてLLMを評価するために設計された,初めての総合ベンチマークである。 私たちのベンチマークでは、ロケーションナビゲーション、リポジトリ管理、財務分析、3Dデザイン、ブラウザ自動化、Web検索という、11の異なるMSPサーバにまたがる6つのコアドメインを網羅しています。 GPT-5 (43.72%) やGrok-4 (33.33%) やClaude-4.0-Sonnet (29.44%) のようなSOTAモデルでさえ、大幅な性能制限がある。
  論文  参考訳（メタデータ） (2025-08-20T13:28:58Z)
• NatureGAIA: Pushing the Frontiers of GUI Agents with a Challenging Benchmark and High-Quality Trajectory Dataset [16.676904484703]
  本稿ではCausal Pathwaysの原理に基づく新しいベンチマークであるNaturalGAIAを紹介する。 このパラダイムは複雑なタスクを検証可能な一連の原子ステップに構造化し、厳密で完全に自動化され、再現可能な評価基準を保証する。 次に、このデータセットを用いて、Q2.5-VL-7Bモデル上でReinforcement FineTuning(RFT)を行う。
  論文  参考訳（メタデータ） (2025-08-02T11:53:41Z)
• StoryBench: A Dynamic Benchmark for Evaluating Long-Term Memory with Multi Turns [7.60350050736492]
  長期記憶は、自律的な知性を達成するために、大規模言語モデルにとって不可欠である。 既存のベンチマークでは、知識保持と動的シーケンシャル推論を評価する上で、課題に直面している。 インタラクティブなフィクションゲームに基づく新しいベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-16T10:54:31Z)
• AutoBench-V: Can Large Vision-Language Models Benchmark Themselves? [65.92331309449015]
  本稿では,モデル能力の特定の側面に基づいてLVLMをベンチマークする,オンデマンドで評価を行う自動フレームワークであるAutoBench-Vを紹介する。 5つの要求されたユーザ入力に対して9つの人気のあるLVLMを広範囲に評価することにより、このフレームワークの有効性と信頼性を示す。
  論文  参考訳（メタデータ） (2024-10-28T17:55:08Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• MixEval: Deriving Wisdom of the Crowd from LLM Benchmark Mixtures [57.886592207948844]
  市販のベンチマークを戦略的に混合することにより,効率的な金標準評価を実現するための新しいパラダイムであるMixEvalを提案する。 提案手法は,(1)包括的でよく分散された実世界のユーザクエリと(2)Webから抽出したクエリと,既存のベンチマークからの類似したクエリとをマッチングすることによって,効率よく,かつ,かなり改善された基盤トラスベースのベンチマークを橋渡しする。
  論文  参考訳（メタデータ） (2024-06-03T05:47:05Z)
• Benchmark Self-Evolving: A Multi-Agent Framework for Dynamic LLM Evaluation [51.99752147380505]
  本稿では,大規模言語モデル(LLM)を動的に評価するベンチマーク自己進化フレームワークを提案する。 マルチエージェントシステムを用いて、元のインスタンスのコンテキストや質問を操作し、信頼性の高い新しいインスタンスをフレーミングする。 我々のフレームワークは、異なるモデル間の性能の相違を拡大し、様々なタスクで同じモデル内で性能の相違を拡大します。
  論文  参考訳（メタデータ） (2024-02-18T03:40:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。