論文の概要: BenchBrowser -- Collecting Evidence for Evaluating Benchmark Validity

• arxiv url: http://arxiv.org/abs/2603.18019v1
• Date: Wed, 25 Feb 2026 04:02:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.392929
• Title: BenchBrowser -- Collecting Evidence for Evaluating Benchmark Validity
• Title（参考訳）: BenchBrowser - ベンチマークの妥当性を評価するための証拠収集
• Authors: Harshita Diddee, Gregory Yauney, Swabha Swayamdipta, Daphne Ippolito,
• Abstract要約: 高レベルのメタデータは、ベンチマークの粒度の現実を伝えるには大きすぎる。 BenchBrowser氏は、20のベンチマークスイートで自然言語のユースケースに関する評価項目を公開している。 実践者意図と実際にテストするベンチマークの間に重要なギャップを定量化するのに役立ちます。
• 参考スコア（独自算出の注目度）: 29.31434780089624
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Do language model benchmarks actually measure what practitioners intend them to ? High-level metadata is too coarse to convey the granular reality of benchmarks: a "poetry" benchmark may never test for haikus, while "instruction-following" benchmarks will often test for an arbitrary mix of skills. This opacity makes verifying alignment with practitioner goals a laborious process, risking an illusion of competence even when models fail on untested facets of user interests. We introduce BenchBrowser, a retriever that surfaces evaluation items relevant to natural language use cases over 20 benchmark suites. Validated by a human study confirming high retrieval precision, BenchBrowser generates evidence to help practitioners diagnose low content validity (narrow coverage of a capability's facets) and low convergent validity (lack of stable rankings when measuring the same capability). BenchBrowser, thus, helps quantify a critical gap between practitioner intent and what benchmarks actually test.
• Abstract（参考訳）: 言語モデルベンチマークは実際、実践者が意図するものを計測しますか? 高レベルのメタデータは、ベンチマークの粒度の現実を伝えるには大きすぎる:"詩"ベンチマークは、俳句を決してテストしないが、"指示追従"ベンチマークは、しばしば任意のスキルの組み合わせをテストする。 この不透明さは、実践者の目標との整合性の検証を面倒なプロセスにし、テストされていないユーザ関心の面においてモデルが失敗しても、能力の錯覚を危険にさらす。 我々は、20のベンチマークスイートで自然言語のユースケースに関連する評価項目をサーベイする検索ツールであるBenchBrowserを紹介した。 高い検索精度を確認する人間の研究によって検証されたBenchBrowserは、実践者が低いコンテンツ妥当性(能力の側面の狭い範囲)と低い収束妥当性(同じ能力を測定するときの安定したランキングの欠如)を診断するのに役立つ証拠を生成する。 そこでBenchBrowserは、実践者の意図と実際にテストするベンチマークとの間の重要なギャップを定量化するのに役立ちます。

関連論文リスト

• Benchmarking at the Edge of Comprehension [38.43582342860192]
  ベンチマークが実現不可能になった場合、AIの進歩を計測する能力が重要になります。 完全人間の理解が不可能な場合でも,モデルを比較するために設計された対戦型フレームワークであるCrytique-Resilient Benchmarkingを提案する。 標準的なベンチマークとは異なり、人間は有界検証として機能し、ローカライズされたクレームにフォーカスする。
  論文  参考訳（メタデータ） (2026-02-15T20:51:29Z)
• Fantastic Bugs and Where to Find Them in AI Benchmarks [28.604919035475188]
  本稿では, 応答パターンの統計的解析を利用して, 潜在的に無効な質問にフラグを付ける手法を提案する。 我々のアプローチは、平均スコアがモデル性能を十分に要約する、AI評価で一般的に使用されるコア仮定に基づいています。 提案手法は,9つの広く使用されているベンチマークにおいて,最大84%の精度で問題のある問題を特定するために専門家のレビューをガイドする。
  論文  参考訳（メタデータ） (2025-11-20T22:49:21Z)
• Benchmark Designers Should "Train on the Test Set" to Expose Exploitable Non-Visual Shortcuts [49.99400612296149]
  強力な視覚的理解なしに、モデルが多くのベンチマークを達成できることがわかりました。 これは視覚的な入力を意図した視覚中心のベンチマークでは特に問題となる。 ベンチマーク設計には診断原則を採用しており、もしベンチマークをゲーム化できれば、それをゲーム化します。
  論文  参考訳（メタデータ） (2025-11-06T18:43:21Z)
• Benchmark Profiling: Mechanistic Diagnosis of LLM Benchmarks [34.09939383415074]
  ベンチマークプロファイリングは、ベンチマークのパフォーマンスを10の認知的基盤を持つ能力に分解する。 パフォーマンス向上がユーザ認識能力に必ずしも変換されない理由を説明する。
  論文  参考訳（メタデータ） (2025-09-23T15:32:47Z)
• Do Large Language Model Benchmarks Test Reliability? [66.1783478365998]
  モデル信頼性の定量化について検討する。 信頼性評価におけるこのギャップにより、我々はいわゆるプラチナベンチマークの概念を提案する。 我々は、これらのプラチナベンチマークにおいて、幅広いモデルを評価し、実際、フロンティアLSMは、単純なタスクで失敗を示す。
  論文  参考訳（メタデータ） (2025-02-05T18:58:19Z)
• Do These LLM Benchmarks Agree? Fixing Benchmark Evaluation with BenchBench [15.565644819269803]
  過度に見落とされた方法論的選択がベンチマークコンセンサステスト(BAT)の結果にどのように影響するかを示す。 我々は、BAT用のピソンパッケージであるBenchBenchを紹介し、ベンチマークを仲間を使って評価するためのメタベンチマークであるBenchBench- Leaderboardをリリースする。
  論文  参考訳（メタデータ） (2024-07-18T17:00:23Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。