論文の概要: Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources
- arxiv url: http://arxiv.org/abs/2610.19268v1
- Date: Tue, 13 Oct 2026 22:39:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.833108
- Title: Whose Data, Whose Benchmark? A User-Centric Framework for Auditing Evaluation Resources
- Title（参考訳）: ベンチマークのデータはだれか? 評価資源を監査するためのユーザ中心フレームワーク
- Abstract要約: 本稿では,評価結果の表現を意図したユーザとベンチマークコンテンツをコントリビュートするユーザを区別する,ユーザ中心の監査フレームワークを提案する。
我々は、11のテキストベンチマークにおいて、アメリカ中心の規約が一致した信号の62.4-94.4%を占めていることを発見した。
当社のフレームワークとドキュメントチェックリストは,ユーザの仮定を監査可能とし,ベンチマークスコアの表示方法と評価クレームのサポート方法を明らかにする。
- 参考スコア（独自算出の注目度）: 12.338320566839483
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmarks shape how model capabilities are measured and interpreted, yet their scores can obscure whose conventions, contexts, and judgments define successful performance. We introduce a user-centric audit framework that distinguishes users who contribute benchmark content from those whose needs evaluation results are intended to represent. The framework operationalizes seven dimensions across benchmark content, metadata, documentation, and scoring procedures. Across 16 resources, we find that American-centered conventions account for 62.4-94.4% of matched signals in 11 text benchmarks, while geographic visibility in five image-text resources is concentrated and strongly associated with national GDP share (mean Pearson r = 0.780; Spearman p = 0.778). Documentation reveals a systematic source-target gap: all 16 resources operationalize source-user context, but none operationalize target-user context. Paired scoring experiments further show that meaning-preserving answer variants reduce DROP exact-match accuracy from 100.0% to 33.3%, while TruthfulQA exhibits metric-dependent reductions in reference similarity. Our framework and documentation checklist make user assumptions auditable, clarifying what benchmark scores represent and where evaluation claims are supported.
- Abstract（参考訳）: ベンチマークはモデル機能の測定と解釈の方法を形成するが、そのスコアは、どの規約、コンテキスト、そして判断が成功したパフォーマンスを定義するのかを曖昧にすることができる。
本稿では,評価結果の表現を意図したユーザとベンチマークコンテンツをコントリビュートするユーザを区別する,ユーザ中心の監査フレームワークを提案する。
このフレームワークは、ベンチマークコンテンツ、メタデータ、ドキュメント、スコアリング手順の7つのディメンションを運用する。
16のリソースにわたって、米国中心のコンベンションは11のテキストベンチマークで一致した信号の62.4-94.4%を占めており、5つの画像テキストリソースの地理的視認性は全国GDPのシェアと強く結びついている(Pearson r = 0.780; Spearman p = 0.778)。
16のリソースはすべてソースユーザコンテキストを運用するが、ターゲットユーザコンテキストを運用するものは存在しない。
ペアリング実験により、意味保存の解法はDROPの精度を100.0%から33.3%に下げる一方、TrathfulQAは基準類似性の計量依存的な減少を示す。
当社のフレームワークとドキュメントチェックリストは,ユーザの仮定を監査可能とし,ベンチマークスコアの表示方法と評価クレームのサポート方法を明らかにする。
関連論文リスト
- AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets [4.193537335690018]
本稿では,構造抽出とサブプリンシプル固有評価器を組み合わせたマルチエージェントフレームワークであるAgentFAIRを提案する。
それぞれが0-3の成熟度スコア、エビデンス、レコメンデーションを生成します。
15データセットの専門家による予備的な研究では、フライスのカッパは0.71で、82%が専門家のコンセンサスと一致している。
論文 参考訳（メタデータ） (2026-07-17T09:32:54Z) - VendorBench-100: A Unified Cross-Paradigm Benchmark for Deepfake Image Detection [0.04736448323490553]
VendorBench-100は、ディープフェイク画像検出のためのクロスパラダイムなベンチマークである。
単一対角100画像コーパス,統一出力スキーマ,共通評価フレームワークを用いて36種類の代表モデルを評価する。
評価の結果,商用APIが最も高い性能を達成し,次いでビジョンLLMとオープンソース検出器が続いた。
論文 参考訳（メタデータ） (2026-07-07T13:22:00Z) - PACE: A Proxy for Agentic Capability Evaluation [60.3743414796937]
PACEは、既存の非エージェント評価からインスタンスを選択することで、プロキシベンチマークを構築するフレームワークである。
14のモデル、4つのエージェントベンチマーク、19の非エージェントベンチマークによる実験では、PACE-Benchがエージェントスコアを予測し、LOOCVは絶対誤差(MAE)を4%以下、スピアマン相関は0.80以上、ペアワイズモデルの精度は85%で、いずれもエージェント評価コストの1%以下である。
論文 参考訳（メタデータ） (2026-07-02T10:59:03Z) - Benchmarking the Benchmarks: A Validity Audit of Tool-Calling Evaluation [3.079997053226693]
本報告では,4つの主要なツールコール・ベンチマーク・ファミリーの体系的妥当性と評価について述べる。
496人の専門家がレビューしたベンチマークタスクのうち、92人の評価者と人間の意見の不一致が18.5%のミスアライメントレートに対応している。
ツールコール評価失敗、トレースレベルの監査成果物、修正された評価項目の統一分類を導入し、ツールの実行、タスク完了、結果検証を別々に計測する指標について議論する。
論文 参考訳（メタデータ） (2026-06-30T21:10:42Z) - AI Cartography: Mapping the Latent Landscape of AI Benchmark Ecosystems [20.174278188532096]
AIベンチマークエコシステムの潜伏状況を測定するためのフレームワークを紹介します。
The Open LLM Leaderboardから4000以上のモデルに確認因子分析(CFA)と一般化可能性理論を適用して、ランキング分散の源泉を分解する。
ベンチマークランキングをどのように信頼するか、ベンチマーク設計をどのように改善できるかを判断するために、実行可能な診断を提供する。
論文 参考訳（メタデータ） (2026-05-24T21:59:08Z) - The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。
BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
論文 参考訳（メタデータ） (2024-06-09T12:30:30Z) - OpinSummEval: Revisiting Automated Evaluation for Opinion Summarization [52.720711541731205]
人間の判断と14の意見要約モデルからの出力からなるデータセットであるOpinSummEvalを提案する。
以上の結果から,ニューラルネットワークに基づく測定値が神経以外の測定値を上回っていることが示唆された。
論文 参考訳（メタデータ） (2023-10-27T13:09:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。