Fugu-MT 論文翻訳(概要): BenchBench: Benchmarking Automated Benchmark Generation

論文の概要: BenchBench: Benchmarking Automated Benchmark Generation

arxiv url: http://arxiv.org/abs/2603.20807v1
Date: Sat, 21 Mar 2026 13:05:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-24 19:11:39.0949
Title: BenchBench: Benchmarking Automated Benchmark Generation
Title（参考訳）: BenchBench: ベンチマークの自動ベンチマーク生成
Authors: Yandan Zheng, Haoran Luo, Zhenghong Lin, Wenjin Liu, Luu Anh Tuan,
Abstract要約: BenchBenchは、自動ベンチマーク生成をベンチマークするためのパイプラインとデータセットである。我々は16.7Kアイテムを生成し、15Kコアアイテムをポストフィルタに保持し、152Kグレードのモデル-イテム応答を生成する。
参考スコア（独自算出の注目度）: 10.44497524694021
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Benchmarks are the de facto standard for tracking progress in large language models (LLMs), yet static test sets can rapidly saturate, become vulnerable to contamination, and are costly to refresh. Scalable evaluation of open-ended items often relies on LLM judges, introducing additional sources of bias and prompt sensitivity. We argue that evaluation must extend beyond how well models answer benchmarks to how well models design them. We introduce BenchBench, a three-stage pipeline and dataset for benchmarking automated benchmark generation: (i) extract structured domain cards from seed benchmarks, (ii) prompt multiple designer LLMs to generate quota-controlled suites, and (iii) validate items with a multi-model answerer panel using exact/numeric/symbolic verifiers when possible and rubric-guided judging otherwise, yielding designer--answerer matrices with item-level quality flags and psychometric diagnostics. Across nine variants spanning computer science, mathematics, medicine, and theory-of-mind reasoning (including multilingual and multimodal settings), we generate 16.7K items, retain ~15K core items post-filtering, and produce ~152K graded model--item responses. BenchBench shows that benchmark-design ability is only moderately correlated with answer-time strength (Spearman rho ~0.37), invalidity is negatively associated with discrimination (Pearson r~0.62), and the resulting designer--answerer matrices enable scalable audits of format/modality/language fidelity and suite-dependent self/family interactions. The project is available at: https://github.com/koanatakiyo/BenchBench.
Abstract（参考訳）: ベンチマークは大規模言語モデル(LLM)の進捗を追跡するデファクトスタンダードだが、静的テストセットは急速に飽和し、汚染に対して脆弱になり、リフレッシュするのにコストがかかる。オープンエンドアイテムのスケーラブルな評価は、しばしばLLM審査員に依存し、さらなるバイアスと迅速な感度の源を導入する。評価は、モデルがどのようにベンチマークに答えるか、モデルをいかにうまく設計するかを超えて拡張されるべきである、と私たちは主張する。自動ベンチマーク生成をベンチマークするための3段階パイプラインとデータセットであるBenchBenchを紹介します。一シードベンチマークから構造化ドメインカードを抽出すること。 (ii)複数のデザイナーLSMにクォータ制御スイートの生成を促させ、三可能な限り正確/数値/記号検証器を用いて多モデル回答パネルを用いて商品を検証し、その他に判断し、設計者-回答行列にアイテムレベルの品質旗及び心理測定診断を付与する。コンピュータ科学、数学、医学、理論・オブ・ミンド推論(多言語・マルチモーダル設定を含む)にまたがる9つの変種にまたがって、16.7K項目を生成し、フィルター後の15Kコア項目を保持し、152K級のモデル-イタム応答を生成する。 BenchBench氏は、ベンチマーク設計能力は、応答時間強度(Spearman rho ~0.37)と中程度の相関しかなく、無効性は差別と負の相関がある(Pearson r~0.62)。このプロジェクトは、https://github.com/koanatakiyo/BenchBench.comで入手できる。

関連論文リスト

IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
論文参考訳（メタデータ） (2026-03-05T02:21:17Z)
Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。 5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
論文参考訳（メタデータ） (2026-01-31T13:11:39Z)
Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文参考訳（メタデータ） (2026-01-07T14:59:03Z)
Benchmark Designers Should "Train on the Test Set" to Expose Exploitable Non-Visual Shortcuts [49.99400612296149]
強力な視覚的理解なしに、モデルが多くのベンチマークを達成できることがわかりました。これは視覚的な入力を意図した視覚中心のベンチマークでは特に問題となる。ベンチマーク設計には診断原則を採用しており、もしベンチマークをゲーム化できれば、それをゲーム化します。
論文参考訳（メタデータ） (2025-11-06T18:43:21Z)
Benchmark Profiling: Mechanistic Diagnosis of LLM Benchmarks [34.09939383415074]
ベンチマークプロファイリングは、ベンチマークのパフォーマンスを10の認知的基盤を持つ能力に分解する。パフォーマンス向上がユーザ認識能力に必ずしも変換されない理由を説明する。
論文参考訳（メタデータ） (2025-09-23T15:32:47Z)
CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文参考訳（メタデータ） (2025-08-05T17:55:24Z)
YourBench: Easy Custom Evaluation Sets for Everyone [12.995134931278056]
YourBenchは、大規模言語モデル(LLM)を評価するための、新しいオープンソースのフレームワークである。手動のアノテーションなしで、信頼性が高く、最新で、ドメインに適したベンチマークを安価に生成する。我々はTemporaに基づくYourBenchライブラリ、Tempora-0325データセット、150k以上の質問応答ペア、およびすべての評価と推論トレースをリリースする。
論文参考訳（メタデータ） (2025-04-02T15:40:24Z)
Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
モデル信頼性の定量化について検討する。信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
論文参考訳（メタデータ） (2025-02-05T18:58:19Z)
BenchAgents: Multi-Agent Systems for Structured Benchmark Creation [23.653678381444276]
BenchAgentsは評価ベンチマークの作成を自動化するフレームワークである。 BenchAgentsを使って、計画、制約満足度、因果推論に関連する機能を評価するベンチマークを作成します。次に、これらのベンチマークを使用して、最先端のモデルを研究し、共通の障害モードとモデルの違いに関する新たな洞察を抽出します。
論文参考訳（メタデータ） (2024-10-29T22:56:18Z)
ACCORD: Closing the Commonsense Measurability Gap [16.572584339052753]
ACCORDは、大規模言語モデル(LLM)の共通理解基盤と推論能力の分離のためのフレームワークである形式的要素をコモンセンス推論に導入し、典型的な 1 または 2 ホップを超えて、推論の複雑さを明示的に制御し、定量化する。任意の推論複雑性のベンチマークを自動的に生成するので、将来のLLMの改善に合わせてスケールすることができる。
論文参考訳（メタデータ） (2024-06-04T22:08:24Z)
ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models [46.07900122810749]
大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、評価は依然として難しい。既存のリレーショナルデータベースを利用することは、ベンチマークを構築する上で有望なアプローチである、と我々は主張する。我々は,これらの整合性制約を用いて任意のデータベースをLLMベンチマークに変換するERBenchを提案する。
論文参考訳（メタデータ） (2024-03-08T12:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。