論文の概要: QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs

• arxiv url: http://arxiv.org/abs/2602.20629v2
• Date: Mon, 02 Mar 2026 07:55:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 15:39:03.825457
• Title: QEDBENCH: Quantifying the Alignment Gap in Automated Evaluation of University-Level Mathematical Proofs
• Title（参考訳）: QEDBENCH:大学レベルの数学的証明の自動評価におけるアライメントギャップの定量化
• Authors: Santiago Gonzalez, Alireza Amiri Bavandpour, Peter Ye, Edward Zhang, Ruslans Aleksejevs, Todor Antić, Polina Baron, Sujeet Bhalerao, Shubhrajit Bhattacharya, Zachary Burton, John Byrne, Hyungjun Choi, Nujhat Ahmed Disha, Koppany István Encz, Yuchen Fang, Robert Joseph George, Ebrahim Ghorbani, Alan Goldfarb, Jing Guo, Meghal Gupta, Stefano Huber, Annika Kanckos, Minjung Kang, Hyun Jong Kim, Dino Lorenzini, Levi Lorenzo, Tianyi Mao, Giovanni Marzenta, Ariane M. Masuda, Lukas Mauth, Ana Mickovic, Andres Miniguano-Trujillo, Antoine Moulin, Wenqi Ni, Tomos Parry, Kevin Ren, Hossein Roodbarani, Mathieu Rundström, Manjil Saikia, Detchat Samart, Rebecca Steiner, Connor Stewart, Dhara Thakkar, Jeffrey Tse, Vasiliki Velona, Yunhai Xiang, Sibel Yalçın, Jun Yan, Ji Zeng, Arman Cohan, Quanquan C. Liu,
• Abstract要約: 我々は, 標準の「LLM-as-a-Judge」プロトコルが, 上学部から初期大学院レベルの数学に適用された場合, 体系的なアライメントギャップに悩まされることを実証した。 QEDBenchは、大学レベルの数学における人間の専門家とのアライメントを測定するための、最初の大規模デュアルルーブリックアライメントベンチマークである。 我々は,Claude Opus 4.5,DeepSeek-V3,Qwen 2.5 Max,Llama 4 Maverickなどのフロンティア評価が有意な正のバイアスを示すことを明らかにした。
• 参考スコア（独自算出の注目度）: 29.26861081722613
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) saturate elementary benchmarks, the research frontier has shifted from generation to the reliability of automated evaluation. We demonstrate that standard "LLM-as-a-Judge" protocols suffer from a systematic Alignment Gap when applied to upper-undergraduate to early graduate level mathematics. To quantify this, we introduce QEDBench, the first large-scale dual-rubric alignment benchmark to systematically measure alignment with human experts on university-level math proofs by contrasting course-specific rubrics against expert common knowledge criteria. By deploying a dual-evaluation matrix (7 judges x 5 solvers) against 1,000+ hours of human evaluation, we reveal that certain frontier evaluators like Claude Opus 4.5, DeepSeek-V3, Qwen 2.5 Max, and Llama 4 Maverick exhibit significant positive bias (up to +0.18, +0.20, +0.30, +0.36 mean score inflation, respectively). Furthermore, we uncover a critical reasoning gap in the discrete domain: while Gemini 3.0 Pro achieves state-of-the-art performance (0.91 average human evaluation score), other reasoning models like GPT-5 Pro and Claude Sonnet 4.5 see their performance significantly degrade in discrete domains. Specifically, their average human evaluation scores drop to 0.72 and 0.63 in Discrete Math, and to 0.74 and 0.50 in Graph Theory. In addition to these research results, we also release QEDBench as a public benchmark for evaluating and improving AI judges. Our benchmark is publicly published at https://github.com/qqliu/Yale-QEDBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)が初等ベンチマークを飽和させるにつれ、研究フロンティアは生成から自動評価の信頼性に移行した。 我々は, 標準の「LLM-as-a-Judge」プロトコルが, 上学部から初期大学院レベルの数学に適用された場合, 体系的なアライメントギャップに悩まされることを実証した。 これの定量化のために、QEDBenchは、大学レベルの数学証明における人間専門家とのアライメントを、専門的な共通知識基準と対比して体系的に測定する、最初の大規模デュアルルーブリックアライメントベンチマークである。 二重評価行列 (7 は x 5 解答器) を1,000時間以上の人的評価に対して展開することにより、クロード・オプス4.5、ディープシーク・V3、クウェン・2.5マックス、ラマ・マベリックのようなフロンティア評価器が有意な正のバイアス(それぞれ+0.18, +0.20, +0.30, +0.36)を示すことを明らかにした。 Gemini 3.0 Proは最先端の性能(平均人の評価スコア0.91)を達成する一方、GPT-5 ProやClaude Sonnet 4.5のような他の推論モデルでは、個々のドメインではパフォーマンスが著しく低下している。 具体的には、人間の平均評価値は離散数学では0.72と0.63に、グラフ理論では0.74と0.50に低下する。 これらの研究結果に加えて、AI審査員の評価と改善のための公開ベンチマークとしてQEDBenchをリリースする。 私たちのベンチマークはhttps://github.com/qqliu/Yale-QEDBench.comで公開されています。

関連論文リスト

• Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
  3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。 数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。 本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2026-01-07T14:59:03Z)
• The Catastrophic Paradox of Human Cognitive Frameworks in Large Language Model Evaluation: A Comprehensive Empirical Analysis of the CHC-LLM Incompatibility [0.0]
  平均的な人間のIQスコアを達成するモデルは、結晶化された知識タスクにおいてゼロに近づいた二分精度を同時に示す。 この切断は、結晶化されたインテリジェンス領域において最も強く現れる。 人工知能の非人間性を認識するネイティブマシン認識アセスメントを開発するための枠組みを提案する。
  論文  参考訳（メタデータ） (2025-11-23T05:49:57Z)
• Reliable Fine-Grained Evaluation of Natural Language Math Proofs [30.992321135182905]
  本稿では,0-7スケールの微粒なスコアをモデル生成数学の証明に割り当てる評価器を開発するための体系的手法を提案する。 ProofBenchは,6つの主要な数学コンペティションから145の問題にまたがる,詳細な証明評価のエキスパートによる最初のデータセットである。 本稿では,強力な推論バックボーンLMと参照解とマーキングスキームからのリッチコンテキストを組み合わせた評価器ProofGraderと,シンプルなアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2025-10-14T02:59:07Z)
• Putnam-AXIOM: A Functional and Static Benchmark for Measuring Higher Level Mathematical Reasoning in LLMs [19.592385109516268]
  大規模言語モデル(LLM)の現在のベンチマークは飽和状態に近づき、トレーニングセットの汚染によってますます損なわれている。 我々は、有名なウィリアム・ローウェル・パットナム数学コンペティションのベンチマークであるPatnam-AXIOMを紹介する。 変更プロトコルは、同じように困難で目に見えないインスタンスの無制限ストリームを生成します。
  論文  参考訳（メタデータ） (2025-08-05T17:57:50Z)
• Large Language Models Often Know When They Are Being Evaluated [0.015534429177540245]
  そこで本研究では,フロンティア言語モデルを用いて,評価や実世界の展開に起因した書き起こしを正確に分類できるかどうかを検討する。 我々は61の異なるデータセットから1000のプロンプトと書き起こしのベンチマークを構築した。 以上の結果から,フロンティアモデルにはまだ評価・認識レベルがかなり高いことが示唆された。
  論文  参考訳（メタデータ） (2025-05-28T12:03:09Z)
• Benchmarking AI Models in Software Engineering: A Review, Search Tool, and Unified Approach for Elevating Benchmark Quality [4.213480330807674]
  2014年以降、273のAI4SEベンチマークを識別する247の研究のレビューを行う。 それらを分類し、現在のプラクティスのギャップを露呈し、適切なベンチマークを見つけるためのセマンティック検索ツールであるBenchScoutを紹介します。 参加者22名のユーザスタディにおいて、BenchScoutは、ユーザビリティ、有効性、直感性を4.5、4.0、そして5.1で達成した。
  論文  参考訳（メタデータ） (2025-03-07T18:44:32Z)
• Benchmarking Generative AI for Scoring Medical Student Interviews in Objective Structured Clinical Examinations (OSCEs) [0.5434005537854512]
  本研究では、MIRS(Master Interview Rating Scale)を用いたOSCE評価自動化のための大規模言語モデル(LLM)の可能性について検討した。 ゼロショット,チェーン・オブ・シント(CoT),少数ショット,マルチステッププロンプトの条件下で,MIRSの28項目すべてにまたがるOSCE書き起こしの評価において,最先端の4つのLCMの性能を比較した。
  論文  参考訳（メタデータ） (2025-01-21T04:05:45Z)
• Preference Optimization for Reasoning with Pseudo Feedback [100.62603571434167]
  提案手法では,解のラベル付けを関連するテストケースに対する評価として行うことで,推論タスクに対する疑似フィードバックを生成する手法を提案する。 本研究では,擬似フィードバックを優先最適化に用いる数学的推論と符号化の両タスクについて実験を行い,両タスク間の改善を観察する。
  論文  参考訳（メタデータ） (2024-11-25T12:44:02Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Prometheus 2: An Open Source Language Model Specialized in Evaluating Other Language Models [92.66784679667441]
  プロメテウス2は、人間とGPT-4の判断を密接に反映するより強力な評価器である。 ユーザ定義評価基準でグループ化された、直接評価とペアのランキングフォーマットの両方を処理できる。 4つの直接評価ベンチマークと4つのペアのランキングベンチマークで、Prometheus 2は人間と独自のLM判事との相関と合意を最も高く評価している。
  論文  参考訳（メタデータ） (2024-05-02T17:59:35Z)
• Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings [63.35165397320137]
  本研究では,OpenAI の GPT-4 によるフィードバック評価の整合性について検討した。 このモデルは、マクロ経済学の上級教育分野における課題に対する回答を、内容とスタイルの観点から評価した。
  論文  参考訳（メタデータ） (2023-08-03T12:47:17Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。