論文の概要: The Benchmark Ceiling: Human Judgment, Evaluation Scarcity, and the Political Economy of AI Capability Measurement
- arxiv url: http://arxiv.org/abs/2607.01254v1
- Date: Thu, 04 Jun 2026 04:34:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-05 17:01:29.638187
- Title: The Benchmark Ceiling: Human Judgment, Evaluation Scarcity, and the Political Economy of AI Capability Measurement
- Title（参考訳）: ベンチマークシーリング:AI能力測定の人的判断、評価能力、政治経済
- Abstract要約: 本稿では、フロンティアAIベンチマークの有効性は、その構築に埋め込まれた人間の判断の質の関数であると主張している。
基礎モデルが既存の評価スイート上での天井性能に近づくにつれ、識別信号は最も厳しいベンチマーク項目に集中する。
- 参考スコア（独自算出の注目度）: 3.454746149471207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Benchmarks are the primary instruments through which AI capability is measured, compared, and governed. This paper argues that the validity of frontier AI benchmarks is a function of the quality of human judgment embedded in their construction, and that this quality is structurally scarce in ways that standard scaling narratives obscure. As foundation models approach ceiling performance on existing evaluation suites, discriminating signal concentrates in the hardest benchmark items, precisely those requiring elite expert judgment to design. We term this the benchmark ceiling problem: the progressive exhaustion of evaluation signal as models saturate the easy majority of items while the difficult tail, authored by a thin stratum of highly expert evaluators, remains the only source of genuine discrimination. The paper develops this argument in three steps. First, we present a formal model of benchmark signal depreciation. Benchmark scores are public signals of latent model quality, but their precision depends endogenously on benchmark validity. As frontier capability rises and as contamination or strategic optimization increases, fixed benchmarks depreciate as measurement instruments. The model shows that valid signal concentrates in hard-tail items, that the replacement cost of such items rises convexly with frontier capability, and that private benchmark producers underinvest in validity relative to the social optimum. Second, drawing on platform data from micro1 covering over one thousand credentialed professionals, we document the scarcity premium associated with high-judgment, low-codifiability evaluation labor. Third, we develop the political economy and governance implications.
- Abstract（参考訳）: ベンチマークは、AI能力を測定し、比較し、管理する主要な機器である。
本稿では、フロンティアAIベンチマークの有効性は、構築に埋め込まれた人間の判断の質の関数であり、この品質は、標準的なスケーリングの物語を曖昧にする方法において構造的に不足している、と論じる。
基礎モデルが既存の評価スイートの天井性能に近づくにつれて、識別信号は最も厳しいベンチマーク項目に集中する。
モデルとしての評価信号の漸進的枯渇は、アイテムの大部分を飽和させる一方、高度に熟練した評価者の薄い層によって書かれた難しい尾は、真の差別の唯一の源である。
論文はこの議論を3段階に展開する。
まず,ベンチマーク信号の劣化の形式モデルを提案する。
ベンチマークスコアは潜在モデル品質の公開信号であるが、その精度はベンチマークの妥当性に依存する。
フロンティア能力が向上し、汚染や戦略的最適化が増加するにつれて、固定されたベンチマークは測定器として低下する。
このモデルでは、有効信号はハードテールアイテムに集中し、そのようなアイテムの交換コストはフロンティア能力と接して上昇し、プライベートベンチマークプロデューサは社会的最適度に対して相対的に過小評価されることが示されている。
第2に、1000人以上の資格を持つ専門家を対象としたmicro1のプラットフォームデータをもとに、高判定、低共用性評価作業に伴う不足プレミアムを文書化する。
第3に、政治経済とガバナンスの影響を進展させます。
関連論文リスト
- CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。
この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
論文 参考訳（メタデータ） (2026-03-09T07:15:23Z) - When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation [80.66788281323414]
主要モデル開発者のテクニカルレポートから選択した60のLarge Language Model (LLM)ベンチマークのベンチマーク飽和を分析した。
分析の結果、ベンチマークのほぼ半数が飽和しており、ベンチマークの年齢とともに上昇していることがわかった。
専門家によるベンチマークは、クラウドソースのベンチマークよりも飽和に抵抗する。
論文 参考訳（メタデータ） (2026-02-18T16:51:37Z) - Benchmarking at the Edge of Comprehension [38.43582342860192]
ベンチマークが実現不可能になった場合、AIの進歩を計測する能力が重要になります。
完全人間の理解が不可能な場合でも,モデルを比較するために設計された対戦型フレームワークであるCrytique-Resilient Benchmarkingを提案する。
標準的なベンチマークとは異なり、人間は有界検証として機能し、ローカライズされたクレームにフォーカスする。
論文 参考訳（メタデータ） (2026-02-15T20:51:29Z) - Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。
数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。
本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
論文 参考訳（メタデータ） (2026-01-07T14:59:03Z) - Benchmarking is Broken -- Don't Let AI be its Own Judge [22.93026946593552]
私たちは、AIを評価するための現在のlaissez-faireアプローチは持続不可能である、と論じます。
PeerBenchは、コミュニティが管理し、熟達した評価青写真である。
私たちのゴールは、完全性を回復し、真に信頼できるAI進歩の手段を提供するための評価の道を開くことです。
論文 参考訳（メタデータ） (2025-10-08T21:41:37Z) - RoHOI: Robustness Benchmark for Human-Object Interaction Detection [84.78366452133514]
ヒューマン・オブジェクト・インタラクション(HOI)検出は、コンテキスト認識支援を可能にするロボット・ヒューマン・アシストに不可欠である。
HOI検出のための最初のベンチマークを導入し、様々な課題下でモデルのレジリエンスを評価する。
我々のベンチマークであるRoHOIは、HICO-DETとV-COCOデータセットに基づく20の汚職タイプと、新しいロバストネスにフォーカスしたメトリクスを含んでいる。
論文 参考訳（メタデータ） (2025-07-12T01:58:04Z) - CritiQ: Mining Data Quality Criteria from Human Preferences [91.44025907584931]
人間の嗜好からデータ品質の基準を自動的にマイニングする新しいデータ選択手法であるCritiQを紹介する。
CritiQ Flowはマネージャエージェントを使用して品質基準を進化させ、ワーカーエージェントはペアで判断する。
コード,数学,論理領域において,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2025-02-26T16:33:41Z) - More than Marketing? On the Information Value of AI Benchmarks for Practitioners [42.73526862595375]
学術分野では、公開ベンチマークは一般的に研究の進展を捉えるのに適した指標と見なされた。
製品や政策において、ベンチマークは実質的な決定を下すのに不十分であることがしばしば見出された。
有効なベンチマークは、意味のある実世界の評価を提供し、ドメインの専門知識を取り入れ、スコープと目標の透明性を維持するべきであると結論付けています。
論文 参考訳（メタデータ） (2024-12-07T03:35:39Z) - BetterBench: Assessing AI Benchmarks, Uncovering Issues, and Establishing Best Practices [28.70453947993952]
我々は、AIベンチマークのライフサイクル全体で46のベストプラクティスを検討し、それに対して24のAIベンチマークを評価するアセスメントフレームワークを開発した。
私たちは、大きな品質差があり、よく使われるベンチマークが重大な問題に悩まされていることに気付きました。
論文 参考訳（メタデータ） (2024-11-20T02:38:24Z) - A Comparative Analysis on Ethical Benchmarking in Large Language Models [0.0]
この研究は、インテリジェントシステムが人間の価値を正確に表現し、それに従って行動するかどうかを評価するテストを開発する機械倫理(ME)ベンチマークの分野に貢献する。
我々は,非現実的な倫理的ジレンマによる生態的妥当性の制限,包括的・排他的基準のない非構造的質問生成,人間のアノテーションへの依存によるスケーラビリティの欠如,の3つの主要な課題を明らかにした。
医用領域の現実的な倫理的ジレンマを特徴とするTriage BenchmarkとMedicical Law (MedLaw) Benchmarkの2つのMEベンチマークを紹介した。
論文 参考訳（メタデータ） (2024-10-11T05:05:21Z) - A Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attributions [60.06461883533697]
まず、属性手法の信頼性ベンチマークが満たすであろう信頼度基準のセットを同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
我々の分析はまた、属性を利用して神経トロイの木馬を守るための洞察を提供する。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。