論文の概要: Benchmarking at the Edge of Comprehension

• arxiv url: http://arxiv.org/abs/2602.14307v1
• Date: Sun, 15 Feb 2026 20:51:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:49.947281
• Title: Benchmarking at the Edge of Comprehension
• Title（参考訳）: 理解の端におけるベンチマーク
• Authors: Samuele Marro, Jialin Yu, Emanuele La Malfa, Oishi Deb, Jiawei Li, Yibo Yang, Ebey Abraham, Sunando Sengupta, Eric Sommerlade, Michael Wooldridge, Philip Torr,
• Abstract要約: ベンチマークが実現不可能になった場合、AIの進歩を計測する能力が重要になります。 完全人間の理解が不可能な場合でも,モデルを比較するために設計された対戦型フレームワークであるCrytique-Resilient Benchmarkingを提案する。 標準的なベンチマークとは異なり、人間は有界検証として機能し、ローカライズされたクレームにフォーカスする。
• 参考スコア（独自算出の注目度）: 38.43582342860192
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As frontier Large Language Models (LLMs) increasingly saturate new benchmarks shortly after they are published, benchmarking itself is at a juncture: if frontier models keep improving, it will become increasingly hard for humans to generate discriminative tasks, provide accurate ground-truth answers, or evaluate complex solutions. If benchmarking becomes infeasible, our ability to measure any progress in AI is at stake. We refer to this scenario as the post-comprehension regime. In this work, we propose Critique-Resilient Benchmarking, an adversarial framework designed to compare models even when full human understanding is infeasible. Our technique relies on the notion of critique-resilient correctness: an answer is deemed correct if no adversary has convincingly proved otherwise. Unlike standard benchmarking, humans serve as bounded verifiers and focus on localized claims, which preserves evaluation integrity beyond full comprehension of the task. Using an itemized bipartite Bradley-Terry model, we jointly rank LLMs by their ability to solve challenging tasks and to generate difficult yet solvable questions. We showcase the effectiveness of our method in the mathematical domain across eight frontier LLMs, showing that the resulting scores are stable and correlate with external capability measures. Our framework reformulates benchmarking as an adversarial generation-evaluation game in which humans serve as final adjudicators.
• Abstract（参考訳）: Frontier Large Language Models (LLMs) が公開された直後、新たなベンチマークが飽和するにつれて、ベンチマーク自体が急上昇している。フロンティアモデルが改善され続ければ、人間が差別的なタスクを生成したり、正確な地味な回答を提供したり、複雑なソリューションを評価することがますます難しくなるだろう。 ベンチマークが実現不可能になった場合、AIの進歩を計測する能力が重要になります。 我々はこのシナリオを後理解体制と呼ぶ。 本研究では,人間の完全理解が実現不可能な場合でも,モデルを比較するために設計された対戦型フレームワークであるCristique-Resilient Benchmarkingを提案する。 我々の手法は、批判的・弾力的な正当性の概念に依存している。 標準的なベンチマークとは異なり、人間は有界検証器として機能し、タスクの完全な理解を超えて評価の完全性を維持する局所的なクレームに焦点を当てる。 アイテム化された2部構成のBradley-Terryモデルを用いて、難解な課題を解決し、難解で解決可能な質問を生成する能力によって、LLMを共同でランク付けする。 本研究では,8つのフロンティア LLM にまたがる数学領域における本手法の有効性を示す。 本フレームワークは,ヒトが最終判断者として機能する対戦型世代評価ゲームとして,ベンチマークを再構築する。

関連論文リスト

• RankLLM: Weighted Ranking of LLMs by Quantifying Question Difficulty [102.02839046225468]
  RankLLMは質問の難しさとモデルの能力の両方を定量化する新しいフレームワークである。 複数のドメインにまたがる35,550の質問に対して30のモデルを評価する。
  論文  参考訳（メタデータ） (2026-02-12T21:28:46Z)
• CORE: Full-Path Evaluation of LLM Agents Beyond Final State [2.0391237204597368]
  既存のエージェントベンチマークでは、最終状態のバイナリ判断に対する評価を少なくすることが多い。 本稿では,タスクを有効なツール利用経路の集合として符号化する決定論的有限オートマトンに基づくフレームワークを提案する。 CORE(Path Correctness)、Path Correctness(Path Correctness)、Kendall's tau Composite(Kendall's tau Composite)、Prefix Criticality(Prefix Criticality)、Harmful-Call Rate(Harmful-Call Rate)、Efficency(Efficency)の5つのメトリクススイートを紹介します。
  論文  参考訳（メタデータ） (2025-09-25T10:49:35Z)
• The illusion of a perfect metric: Why evaluating AI's words is harder than it looks [0.0]
  自然言語生成(NLG)は、AIの実用化に不可欠である。 人間の評価はデファクトスタンダードと考えられているが、高価でスケーラビリティに欠ける。 決定的な解として単一の計量が現れることはなく、結果として、完全に含意を考慮せずに異なる計量を用いた研究が行われる。
  論文  参考訳（メタデータ） (2025-08-19T13:22:41Z)
• Pretraining on the Test Set Is No Longer All You Need: A Debate-Driven Approach to QA Benchmarks [2.3188831772813105]
  本稿では、既存のQAデータセットを構造化された敵対的議論に変換する議論駆動評価パラダイムを提案する。 我々は,(1)QAタスクを議論に基づく評価に体系的に変換する評価パイプライン,(2)MMLU-Pro質問のサブセットにおけるパラダイムの有効性を示す公開ベンチマークの2つの主要な貢献を行う。
  論文  参考訳（メタデータ） (2025-07-23T17:58:14Z)
• A Comparative Analysis on Ethical Benchmarking in Large Language Models [0.0]
  この研究は、インテリジェントシステムが人間の価値を正確に表現し、それに従って行動するかどうかを評価するテストを開発する機械倫理(ME)ベンチマークの分野に貢献する。 我々は,非現実的な倫理的ジレンマによる生態的妥当性の制限,包括的・排他的基準のない非構造的質問生成,人間のアノテーションへの依存によるスケーラビリティの欠如,の3つの主要な課題を明らかにした。 医用領域の現実的な倫理的ジレンマを特徴とするTriage BenchmarkとMedicical Law (MedLaw) Benchmarkの2つのMEベンチマークを紹介した。
  論文  参考訳（メタデータ） (2024-10-11T05:05:21Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
  大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。 これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。 本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
  論文  参考訳（メタデータ） (2022-12-15T15:52:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。